xxgxxw的博客

使用selenium爬取京东电商数据 一、小tips 动态网站特征：反爬机制（禁止爬虫） 登录 验证码 ip限制 js加密 屏蔽… 解决办法：伪装浏览器 使用代理ip 抓包分析 selenium… 二、selenium 1.是一个用于Web应用程序测试的工具。直接运行在浏览器中，就像真正的用户在操作一样 2.环境配置： ①selenium工具，框架，第三方库：chomer.exe、geckodriver.exe 模拟用户操作浏览器，支持多个浏览器 ②浏览器驱动：放置python目录下，不双击安

使用BeautifulSoup4全方位解析爬取全国天气数据 一、小tips # 通过requests的一个get请求去请求数据 response = requests.get(url) response.content -->二进制数据 response.content.decode('utf-8') # 加了decode自动转化为字符串 response.text -->字符串 stripped_strings：获取一个标签下面的子孙节点的文本信息 # 解析网页,