python
fuchouqiong
这个作者很懒,什么都没留下…
展开
-
PYTHON_爬虫_贝壳二手房
import requestsfrom lxml import etreeimport re# 存放重庆的市区拼写的列表regions = ['yubei']# 自定义一个爬虫函数def findInfo(url): with open(r'C:\Users\Administrator\Desktop\python爬虫\HouseData.csv', "a", encoding='utf-8') as f: # 打开一个csv文件将爬取的数据存放到文件中 .原创 2021-09-17 14:42:00 · 783 阅读 · 0 评论 -
PYTHON_pandas基础_Series
1. pandas.Series 基础pandas.Series( data, index, dtype, name, copy)参数说明:data:一组数据(ndarray 类型)。 index:数据索引标签,如果不指定,默认从 0 开始。 dtype:数据类型,默认会自己判断。 name:设置名称。 copy:拷贝数据,默认为 False。2.pandas 列表存入pandas.Seriesimport pandas as pda = [1,2,3]data = pd.原创 2021-09-17 14:41:43 · 57 阅读 · 0 评论 -
爬虫编程思路
爬取基本流程1.分析网页源代码2.编写主函数,访问网页的主循环3.定义函数3.1 模拟用户登陆3.2 反爬3.2.1 虚拟IP3.2.2 通过验证3.2.3 设置访问延迟3.2.4 设置验证码通过3.3 通过正则或xpath 提取需要的信息3.4 输出数据(csv,pandas)3.5 数据处理,存入数据库3.6 编写简单脚本,每天定时更新4.加入gui程序...原创 2021-09-16 15:03:57 · 64 阅读 · 0 评论