- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 string的几种方法
string.punctuation !"#$%&'()*+,-./:;<=>?@[\]^_`{|}~string.ascii_lowercase abcdefghijklmnopqrstuvwxyzstring.digits 0123456789以上可用于爆破和生成随机激活码的使用...
2019-02-28 21:17:08
284
转载 python多线程(threading)与多进程(multiprocessing)
最近学了两个python库，一个负责管理线程，一个负责管理进程，原来一直写的都 是些单线程的程序，虽然web也关于并发和多涉及到线程，但都是框架管理的，学习>过后发现了解线程和进程对python的web开发也有一定帮助。下面先谈谈这对python对线程和进程的支持再谈谈对这两个库的应用。python对线程的支持并不是非常好，所以你可以在很多文章上批评python的多线程的弊端，但是为什么p...
2019-02-28 17:00:09
1413
原创 python多进程(multiprocessing)(map)
map的基本使用：map函数一手包办了序列操作，参数传递和结果保存等一系列的操作。from multiprocessing.dummy import Poolpoop = Pool(4) # 4代表电脑是多少核的results = pool.map(爬取函数,网址列表)from multiprocessing.dummy import Pool as ThreadPool...
2019-02-28 13:59:50
10057
原创 XPath特殊情况
以相同字符开头：starts-with(@属性名称，属性名称相同部分)标签套标签的情况：string(.) 例：info = data.XPath('string(.)')
2019-02-28 13:31:00
189
原创 XPath基本内容提取
XPath与HTML结构：树状结构获取网页元素的XPath：手动分析浏览器生成应用XPath提取内容://定位根节点/往下层寻找提取文本内容: /text()提取属性内容: /@xxxx...
2019-02-28 13:21:02
319
原创 python爬虫---XPath介绍
XPath是一门语言可以在XML文档中查找信息支持HTML通过元素和属性进行导航可以提取信息比正则表达式更厉害比正则表达式更简单安装lxml库from lxml import etreeSelector = etree.HTML(网页源代码)Selector.xpath(一段神奇的符号)...
2019-02-28 13:03:42
146
原创 python爬取极客学院课程信息实例
用过正则表达式和requests库来爬取极客学院课程的名称，课程简介，课程时长，课时数，上课人数。以下为python3编写的代码import requestsimport stringimport re# 代理头信息kv = {'user-agent':'Mozilla/5.0'}# 爬虫类，用来实现各种功能class spider(object): def __in...
2019-02-28 12:22:08
679
转载 python正则表达式中group的用法
import rea = "123abc456"# 代码是最好的例子print(re.search(r'([0-9]*)([a-z]*)([0-9]*)',a).group(0))print(re.search(r'([0-9]*)([a-z]*)([0-9]*)',a).group(1))print(re.search(r'([0-9]*)([a-z]*)([0-9]*)',a)....
2019-02-28 12:13:33
1574
原创 python删除字符串两边的空格
import stringstring = ' How are you 'result = str.strip(string)print(result)代码环境 : py3.6
2019-02-27 20:44:33
15652
原创 python表单提交 post方法
Get 得到数据Post 提交数据分析目标网站Requests表单提交功能异步加载技术，url不会改变：F12 networkshow morerequests method:post 提交数据form data page:2 page:3审核元素中的url: https://www.crowdfunder.com/browse/deals&amp;template...
2019-02-26 12:31:32
4118
1
原创 python爬取网站上所有诗句（第三版）
#-*-coding:utf8-*-import requestsimport re# 获取网页源代码kv = {'user-agent':'Mozilla/5.0'}url = 'http://www.shicimingju.com/shicimark/qixijie.html'html = requests.get(url, headers=kv)poem = re.fin...
2019-02-26 10:43:34
1031
原创 python爬虫 获取网页源代码
import requests# 获取网页源代码kv = {'user-agent':'Mozilla/5.0'} # 请求头信息，相当于一个浏览器面具html = requests.get('http://tieba.baidu.com/f?ie=utf-8&kw=python&red_tag=g1015520224',headers=kv)print(ht...
2019-02-26 10:27:48
3120
原创 python第三方库安装技巧
少使用easy_install安装，因为它只能安装，不能卸载多用pip安装安装遇到问题的时候：http://www.lfd.uci.edu/~gohlke/pythonlibs/ (下载whl文件-&gt;whl改为zip-&gt;解压缩-&gt;另一个info文件夹没有用-&gt; 将那个文件夹复制—&gt;到python的lib文件夹下-&gt;粘贴-&gt;安装完成)..
2019-02-26 10:13:46
187
原创 python爬取网页所有课程图片实例
import reimport requests# 读取源代码文件f = open('source.txt','r')html = f.read()f.close()# 获取网页源代码(字符编码有问题)# r = requests.get('http://www.jikexueyuan.com/course/python/?pageNum=1')# html = str(r.t...
2019-02-25 19:56:13
275
原创 python 极客学院 正则表达式
import researet_code = 'hadfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'# .的使用 相当于一个占位符# a = 'xy123'# b = re.findall('x..',a)# print(b)# *的使用 匹配无限次 如果不是单一的一个字符，则不会出现空的# a = 'xyxy123'...
2019-02-25 13:40:07
338
原创 python极客学院 pycharm基本调试
以下是老师用一个简单的代码做的pycharm的基本调试、print('hello world')for i in range(10): a = i print(a)
2019-02-24 09:43:54
204
原创 python 多线程 批量请求 下载视频
import requestsimport osimport reimport threadingroot = "E://movie//" # 根目录kv = {'user-agent':'Mozilla/5.0'} # 模拟浏览器请求头def download(url): ...
2019-02-23 19:56:42
1275
原创 打包python为exe
# 打包操作# 安装pyinstaller# cmd输入 pip install pyinstaller# shift+右击文件夹 点击在此处打开命令窗口# pyinstaller -F -w love.py //打包程序
2019-02-18 14:25:38
507
原创 python不换行 输出
print(’\r当前速度 ：{:.2f}%’.format(count * 100 / len(lst)), end=’’)
2019-02-18 12:34:38
1550
原创 python正则表达式学习 findall
import retext = 'to to to how are you a to to'result = re.findall('to', text)print(result)正则表达式中的findall语句，可以找到字符串中所有的需要找到的内容，并且将它打印出来。import retext = 'to to too how are you a to to gongsun...
2019-02-17 17:18:37
402
原创 python多线程 (4)
import threadingdef job1(): global A,lock lock.acquire() # 锁住 for i in range(10): A += 1 print('job1', A) lock.release() # 开锁def job2(): glo...
2019-02-16 13:23:24
78
原创 python多线程 (3)
import threadingimport timefrom queue import Queuedef job(l,q): for i in range(len(l)): l[i] = l[i]**2 q.put(l) # return l 线程中不可以返回值def multithreading(): q =...
2019-02-16 12:57:16
103
原创 python多线程 (2)
import threadingimport timedef thread_job(): print('T1 start\n') for i in range(10): time.sleep(0.1) # 程序睡眠时间 print('T1 finish\n')def T2_job(): print('T2 start\n') ...
2019-02-16 12:37:31
565
原创 python多线程（1）
import threadingdef thread_job(): print("This is an added Thread, number is %s" % threading.current_thread()) # 线程的名字def main(): add_thread = threading.Thread(target=thread_job) # 添加的...
2019-02-16 12:22:19
115
原创 Ts视频合并
可以使用以下DOS命令达到目的（即“开始”菜单，“运行”，输入 cmd 再按回车）：（此处假设你要合并的高清文件位于 E:\temps 这个位置） copy /b E:\temps\*.ts E:\temps\new.ts如上，执行该命令后，E:\temps目录下的全部TS文件就被合并成一个new.ts文件了（你原来的那堆文件仍然存在）。转自：https://blog.cs...
2019-02-15 18:01:52
13997
1
原创 python爬虫框架
import requestsimport osurl = "https://video.letv-cdn.com/20180305/On2ytq3G/1000kb/hls/ajgqzKa7264013.ts"root = "E://pics//"path = root + url.split('/')[-1]try: if not os.path.exists(root):...
2019-02-14 21:12:52
242
原创 网易云音乐真实链接地址
1 谷歌浏览器2 打开某以后歌的页面 例如：https://music.163.com/#/artist?id=98083 F124 找到真实链接地址（必须刷新哦）
2019-02-14 14:53:46
13151
转载 网易云音乐 真实地址
一个网易音乐外链地址长期有效，很简单的方法：第一步打开网易云音乐，随便找到一首歌，播放，复制网址的ID，例如：杨钰莹的心雨，网址是：http://music.163.com/#/song?id=317151很明显，ID是317151那么，这首歌的真实地址就是：http://music.163.com/song/media/outer/url?id=317151.mp3这个地址不会失效...
2019-02-10 14:41:38
2925
Typora主题大全，里面onedark等主题
2021-01-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人