python爬虫学习
文章平均质量分 79
python爬虫的一些练习与记录
小白蒋博客
这个作者很懒,什么都没留下…
展开
-
私人
import pandas as pdimport numpy as npimport requestsimport timefrom user_agent import getheadersimport urllib3urllib3.disable_warnings()class Add_Fresh(): def __init__(self,url): ...原创 2020-01-12 19:19:20 · 170 阅读 · 0 评论 -
爬取西祠免费ip代理(随机请求头),保存到csv文件
python -V 3.7简介:python爬取免费IP代理,写成一个function函数。代码:# -*-coding:utf-8 -*-#作者:小白jiang#联系:bk_jiang@163.com#csdn:https://blog.csdn.net/weixin_37413070import requestsfrom lxml import etreefrom us...原创 2020-01-12 15:47:41 · 467 阅读 · 0 评论 -
python下载免费ip代理,保存csv,函数方法写
python -V3.6import randomimport requestsfrom fake_useragent import UserAgentfrom lxml import etreeuser_agent = random.choice(UserAgent)headers = { 'User-Agent':user_agent,}def gethtmlre...原创 2019-11-17 22:09:24 · 160 阅读 · 0 评论 -
python3下载百度图片,动态更新的怎么下,找ajax规律,自动下载百度图片函数
python -V 3.6用python3下载百度图片几百张的时候,怎么处理呢?下载动态更新页面图片分析网页变化的规律然后找出有用的url打开百度图片,输入查找的图片,打开F12调试工具,选中XHR,然后动态往下拖鼠标,显示出更多的图片,发现下面的url就只有pn在变化,一开始30,然后60,90.。。。。其实啊,就是百度图片,一次出来30张,在往下拉鼠标,又出来30,这样就找到了动态变...原创 2019-11-12 21:25:51 · 206 阅读 · 0 评论 -
用Requests下载百度一页图片,以下载芳心纵火犯为例
Python -V 3.6怎么用requests下载百度图片,新建文件夹,自动保存import requests,os,refrom urllib import parsea = '芳心纵火犯'b = parse.quote(a) # 中文转url字符page_url = 'http://image.baidu.com/search/index?tn=baiduimage&...原创 2019-11-12 20:34:00 · 139 阅读 · 0 评论 -
python中ulr关键词的转换,“E5 82”怎么转换成中文
Python -V 3.6在python爬取百度图片的时候,怎么输入中文,自动转换成url链接呢,也就是中文怎么跟url的字符转换:from urllib import parseb = '%E5%82%A8%E6%B2%B9%E7%BD%90%E9%99%A4%E9%94%88%E5%88%B7%E6%B2%B9%E6%BC%86' # 储油罐除锈刷油漆a = '储油罐除锈刷油漆'...原创 2019-11-12 18:30:44 · 794 阅读 · 0 评论