![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
深入浅出的学习,从入门到实战。
午后阳光送给你
花开花谢,云卷云舒~~~
展开
-
ubuntu pip 安装 evo 报错
ubuntu pip 安装 evo 报错/evo$ pip install evo --upgrade --no-binary evoDefaulting to user installation because normal site-packages is not writeableCollecting evo Using cached evo-1.18.1.tar.gz (119 kB) Preparing metadata (setup.py) ... error error: s原创 2022-05-30 10:05:40 · 548 阅读 · 0 评论 -
Python 实现Motorola CAN数据解析
Python 实现Motorola CAN数据解析直接上代码:import mathdef GetMotorolaRaw(data, startBit, len): ret = 0 startByte = 0 startOffsetBits = 0 remainBits = 0 lines = 0 count = 0 if False == isinstance(data, list): print("Typeof data Error, not list.")原创 2021-11-25 13:51:39 · 1108 阅读 · 2 评论 -
python爬虫笔记
python爬虫 – 反爬基础UA伪装UA :user-agent 请求载体的身份标识门户网站的服务器,会检测对应请求的载体身份标识,如果检测到某一请求的载体身份标识,为某一款浏览器,则说明此请求为一个正常请求。如果检测到某一请求的载体身份标识,不是某一款浏览器,则表示此次请求,不是一个正常的请求(爬虫),则服务器端就很可能拒绝此次访问请求。UA伪装,就是将我们的爬虫程序,伪装成某一款浏览器,躲避门户网站的反爬策略,从而实现我们的数据爬取。...原创 2021-07-16 15:37:50 · 285 阅读 · 0 评论 -
scrapy 框架学习 --- 注意事项
scrapy 框架学习 — 注意事项记录scrapy 框架学习过程中,遇到的一些坑开发环境 windows 7 + vs code + python 3.8问题一,在测试管道下载图片过程中,无论如何都无法调用自己编写的pipline类(继承至 ImagesPipeline),也没有任何相关提示解决办法:安装 pillow最开始没注意到这个库,安装后,可以调用到自己编写pipline类了 pip install pillowsettings中配置的路径问题网上貌似都是在ubuntu或原创 2021-06-23 11:13:19 · 197 阅读 · 0 评论 -
scrapy 框架学习
scrapy 框架学习原创 2021-06-21 19:20:46 · 216 阅读 · 0 评论 -
python 爬虫基础 -- 综合示例
python 爬虫基础 – 综合示例题目:爬取某网站提供ip地址,并测试其是否可用技术list:requestsreBeautifulSouptelnetlib 用以测试ip地址是否可用打开待爬取数据的网站,按F12,查看我们要截取的数据的格式每一行数据中,我们只关心ip地址及其端口号。编写可能用到的正则表达式ex = '<tr><td>(?P<ip>.*?)</td><td>(?P<port>.*原创 2021-06-17 15:56:48 · 462 阅读 · 0 评论 -
python 爬虫基础 -- requests 模块完整简单示例(网页检索)
python 爬虫基础 – requests 模块完整简单示例(网页检索)request模块爬虫编码流程使用流程 – request模块编码流程:指定URL发起请求获得响应数据持久化存储简单示例 – 网页检索#!usr/bin/env/pythonimport requestsdef main(): # step 1 : 指定url url = "https://www.baidu.com/s?" wd = input('Please input an k原创 2021-06-14 23:01:48 · 406 阅读 · 0 评论 -
python 爬虫基础 -- requests 模块完整简单示例
python request 模块request 模块安装windows:pip install requestslinux/ubuntu:sudo apt-get install python-requestsrequest模块爬虫编码流程使用流程–request模块编码流程:指定URL发起请求获得响应数据持久化存储简单示例:# 爬取指定的页面数据#!usr/bin/env/pythonimport requestsdef main(): # step 1原创 2021-06-14 12:33:10 · 252 阅读 · 0 评论 -
python urllib 模块使用小结
python urllib 模块使用小结urllib 提供了一个高级的 Web 交流库,支持 Web 协议,HTTP, FTP 和 Gopher 协议,同时也支持对本地文件的访问。urllib 模块的特殊功能是利用上述协议下载数据。使用这个模块可以避免使用httplib,ftplib 和 gopherlib 这些模块,除非你想用更低层的功能。功能包括 urlopen(), urlretrieve(), quote(),unquote(), quote_plus(), unquote_plus(), 和原创 2021-06-05 17:21:56 · 166 阅读 · 0 评论 -
python 从web抓取数据
python 从web抓取数据《Python编程快速上手》学习笔记webbrowser 模块webbrowser 是 Python 自带的,打开浏览器获取指定页面。import webbrowserwebbrowser.open('http://www.gutenberg.org/')用 requests 模块从 Web 下载文件从因特网上下载文件和网页。requests 模块让你很容易从 Web 下载文件,不必担心一些复杂的问题,requests 模块不是 Python 自带的,所以必原创 2021-06-04 16:11:33 · 723 阅读 · 0 评论 -
python 读取指定目录下的,指定类型文件
python 读取指定目录下的,指定类型文件直接上代码:os.chdir(path) # 修改当前的工作目录file_list = glob('*.log') # 过滤指定类型的文件if file_list : for file in file_list: print(file)...原创 2021-06-03 09:30:22 · 340 阅读 · 0 评论 -
python 判断输入是否为文件夹
python 判断输入是否为文件夹文件夹判断:#!/usr/bin/env pythonimport sysfolder = input();if os.path.exists(folder): isfolder = True;else: isfolder = False;文件判断:os.path.isfile(file)原创 2021-05-31 14:27:00 · 403 阅读 · 0 评论