3 将list等分为子组
from math import ceil
def divide(lst, size):
if size <= 0:
return [lst]
return [lst[i * size:(i+1)*size] for i in range(0, ceil(len(lst) / size))]
r = divide([1, 3, 5, 7, 9], 2) # [[1, 3], [5, 7], [9]]
4 生成fibonacci序列前n项
def fibonacci(n):
if n <= 1:
return [1]
fib = [1, 1]
while len(fib) < n:
fib.append(fib[len(fib) - 1] + fib[len(fib) - 2])
return fib
fibonacci(5) # [1, 1, 2, 3, 5]
5 过滤掉各种空值
def filter_false(lst):
return list(filter(bool, lst))
filter_false([None, 0, False, ‘’, [], ‘ok’, [1, 2]])# [‘ok’, [1, 2]]
6 返回列表头元素
def head(lst):
return lst[0] if len(lst) > 0 else None
head([]) # None
head([3, 4, 1]) # 3
7 返回列表尾元素
def tail(lst):
return lst[-1] if len(lst) > 0 else None
print(tail([])) # None
print(tail([3, 4, 1])) # 1
8 对象转换为可迭代类型
from collections.abc import Iterable
def cast_iterable(val):
return val if isinstance(val, Iterable) else [val]
cast_iterable(‘foo’)# foo
cast_iterable(12)# [12]
cast_iterable({‘foo’: 12})# {‘foo’: 12}
9 求更长列表
def max_length(*lst):
return max(*lst, key=lambda v: len(v))
r = max_length([1, 2, 3], [4, 5, 6, 7], [8])# [4, 5, 6, 7]
10 出现最多元素
def max_frequency(lst):
return max(lst, default=‘列表为空’, key=lambda v: lst.count(v))
lst = [1, 3, 3, 2, 1, 1, 2]
max_frequency(lst) # 1
11 求多个列表的最大值
def max_lists(*lst):
return max(max(*lst, key=lambda v: max(v)))
max_lists([1, 2, 3], [6, 7, 8], [4, 5]) # 8
12 求多个列表的最小值
def min_lists(*lst):
return min(min(*lst, key=lambda v: max(v)))
min_lists([1, 2, 3], [6, 7, 8], [4, 5]) # 1
13 检查list是否有重复元素
def has_duplicates(lst):
return len(lst) == len(set(lst))
x = [1, 1, 2, 2, 3, 2, 3, 4, 5, 6]
y = [1, 2, 3, 4, 5]
has_duplicates(x) # False
has_duplicates(y) # True
14 求列表中所有重复元素
from collections import Counter
def find_all_duplicates(lst):
c = Counter(lst)
return list(filter(lambda k: c[k] > 1, c))
find_all_duplicates([1, 2, 2, 3, 3, 3]) # [2,3]
15 列表反转
def reverse(lst):
return lst[::-1]
reverse([1, -2, 3, 4, 1, 2])# [2, 1, 4, 3, -2, 1]
16 浮点数等差数列
def rang(start, stop, n):
start,stop,n = float(‘%.2f’ % start), float(‘%.2f’ % stop),int(‘%.d’ % n)
step = (stop-start)/n
lst = [start]
while n > 0:
start,n = start+step,n-1
lst.append(round((start), 2))
return lst
rang(1, 8, 10) # [1.0, 1.7, 2.4, 3.1, 3.8, 4.5, 5.2, 5.9, 6.6, 7.3, 8.0]
1 字典值最大的键值对列表
def max_pairs(dic):
if len(dic) == 0:
return dic
max_val = max(map(lambda v: v[1], dic.items()))
return [item for item in dic.items() if item[1] == max_val]
max_pairs({‘a’: -10, ‘b’: 5, ‘c’: 3, ‘d’: 5})# [(‘b’, 5), (‘d’, 5)]
2 字典值最小的键值对列表
def min_pairs(dic):
if len(dic) == 0:
return []
min_val = min(map(lambda v: v[1], dic.items()))
return [item for item in dic.items() if item[1] == min_val]
min_pairs({}) # []
r = min_pairs({‘a’: -10, ‘b’: 5, ‘c’: 3, ‘d’: 5})
print® # [(‘b’, 5), (‘d’, 5)]
3 合并两个字典
def merge_dict2(dic1, dic2):
return {**dic1, **dic2} # python3.5后支持的一行代码实现合并字典
merge_dict({‘a’: 1, ‘b’: 2}, {‘c’: 3}) # {‘a’: 1, ‘b’: 2, ‘c’: 3}
4 求字典前n个最大值
from heapq import nlargest
返回字典d前n个最大值对应的键
def topn_dict(d, n):
return nlargest(n, d, key=lambda k: d[k])
topn_dict({‘a’: 10, ‘b’: 8, ‘c’: 9, ‘d’: 10}, 3) # [‘a’, ‘d’, ‘c’]
5 求最小键值对
d={‘a’:-10,‘b’:5, ‘c’:3,‘d’:5}
min(d.items(),key=lambda x:x[1]) #(‘a’, -10)
1 互为变位词
from collections import Counter
检查两个字符串是否 相同字母异序词,简称:互为变位词
def anagram(str1, str2):
return Counter(str1) == Counter(str2)
anagram(‘eleven+two’, ‘twelve+one’) # True 这是一对神器的变位词
anagram(‘eleven’, ‘twelve’) # False
1 查找指定文件格式文件
import os
def find_file(work_dir,extension=‘jpg’):
lst = []
for filename in os.listdir(work_dir):
print(filename)
splits = os.path.splitext(filename)
ext = splits[1] # 拿到扩展名
if ext == ‘.’+extension:
lst.append(filename)
return lst
find_file(‘.’,‘md’) # 返回所有目录下的md文件
1 爬取天气数据并解析温度值
素材来自朋友袁绍
import requests
from lxml import etree
import pandas as pd
import re
url = ‘http://www.weather.com.cn/weather1d/101010100.shtml#input’
with requests.get(url) as res:
content = res.content
html = etree.HTML(content)
通过lxml模块提取值,lxml比beautifulsoup解析在某些场合更高效
location = html.xpath(‘//*[@id=“around”]//a[@target=“_blank”]/span/text()’)
temperature = html.xpath(‘//*[@id=“around”]/div/ul/li/a/i/text()’)
结果:
[‘香河’, ‘涿州’, ‘唐山’, ‘沧州’, ‘天津’, ‘廊坊’, ‘太原’, ‘石家庄’, ‘涿鹿’, ‘张家口’, ‘保定’, ‘三河’, ‘北京孔庙’, ‘北京国子监’, ‘中国地质博物馆’, '月坛公
园’, ‘明城墙遗址公园’, ‘北京市规划展览馆’, ‘什刹海’, ‘南锣鼓巷’, ‘天坛公园’, ‘北海公园’, ‘景山公园’, ‘北京海洋馆’]
[‘11/-5°C’, ‘14/-5°C’, ‘12/-6°C’, ‘12/-5°C’, ‘11/-1°C’, ‘11/-5°C’, ‘8/-7°C’, ‘13/-2°C’, ‘8/-6°C’, ‘5/-9°C’, ‘14/-6°C’, ‘11/-4°C’, ‘13/-3°C’
, ‘13/-3°C’, ‘12/-3°C’, ‘12/-3°C’, ‘13/-3°C’, ‘12/-2°C’, ‘12/-3°C’, ‘13/-3°C’, ‘12/-2°C’, ‘12/-2°C’, ‘12/-2°C’, ‘12/-3°C’]
df = pd.DataFrame({‘location’:location, ‘temperature’:temperature})
print(‘温度列’)
print(df[‘temperature’])
正则解析温度值
df[‘high’] = df[‘temperature’].apply(lambda x: int(re.match(‘(-?[0-9]?)/-?[0-9]?°C’, x).group(1) ) )
df[‘low’] = df[‘temperature’].apply(lambda x: int(re.match(‘-?[0-9]?/(-?[0-9]?)°C’, x).group(1) ) )
print(df)
详细说明子字符创捕获
除了简单地判断是否匹配之外,正则表达式还有提取子串的强大功能。用()表示的就是要提取的分组(group)。比如:^(\d{3})-(\d{3,8})$分别定义了两个组,可以直接从匹配的字符串中提取出区号和本地号码
m = re.match(r’^(\d{3})-(\d{3,8})$', ‘010-12345’)
print(m.group(0))
print(m.group(1))
print(m.group(2))
010-12345
010
12345
如果正则表达式中定义了组,就可以在Match对象上用group()方法提取出子串来。
最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注:python)
[外链图片转存中…(img-THdT7Upz-1711200772720)]