bhcgdh的博客

获取汇率数据1 爬取的内容1.1 爬取的界面2 爬取的过程2.1 导入需要的包2.2 获取网页数据2.3 数据格式更改2.4 获取所有数据并传入数据库1 爬取的内容根据需要美元，英镑，以及欧元对人民币的汇率，网站比较简单。分为三个网站，地址如下，获取当日页面里的数据，没有太多复杂的解析。三个网站的规则是一样的，里面的解析方法也和步骤也是相同的。欧元对人民币英镑对人民币美元对人民币1....

爬虫2_python连接mysql数据库python操作数据库的基本操作1 对数据库进行增删改查2 获取数据库数据，返回DataFrame格式数据3 将DataFrame传入到数据库中python操作数据库的基本操作爬虫中经常需要使用到数据库，使用python连接mysql数据库，对数据库进行相关增删改查，基本同在数据库操作工具，获取数据库数据，以及将数据存入到数据库中。这是进行相关数据库操作...

python3.6安装pyspider安装后启动无法跳转到0.0.0.0:5000按照崔庆才 爬虫3的教程中框架的安装步骤 添加链接描述，安装必须的几个安装包后，执行pip3 install pyspider，再执行pyspider all，界面一直保持在如下界面，始终不跳转到0.0.0.0：5000，查询了很多问题，但是大都是3.7出现，或者让改pyspider安装包的代码，但是我本地的安...

1 ## urllib2的使用 ##（1） urllib2请求返回网页 示例1：测试使用该模块打开百度的首页# -*- coding: UTF-8 -*-import urllib2import osimport timeimport platformdef clear(): '''该函数用来清屏幕''' print(u'内容较多，显示3秒后翻页') time.s

在爬虫过程中，涉及到多个模块的应用，需要去添加新的模块，这里介绍几个常用的模块。1.1 re模块正则表达式，不作多描述。1.2 json模块主要用来保存爬取的数据 。1.3bs4库：主要应用其BeautifulSoup模块对网页进行解析1.4 urllib模块： urllib提供了一系列用于操作URL，利用程序去执行各种HTTP请求，主要用到的方法有：

根据https://www.sojson.com/blog/305.html（非常感谢该楼主的无私奉献）网站提供的api,调取天气数据，（1）该网站提供2000多个城市天气查询。（2）提供数据基本为当日，未来15天，以及前一天一共17天的天气数据。存在少量城市地区无法获取数据。（3）历史一天，当天，未来5天天气的字段是不同，我将其分别存储。（4）频繁多次调用小心封号，我是设置了随机slee...

主要参考崔庆才（狗粮散播达人）的教程完成对浸提头条图片的爬取[Python3网络爬虫开发实战] 6.4-分析Ajax爬取今日头条街拍美图因为网站变动，不能完全照搬他的方法，但是思想上基本一致， 是非常好的教材，然后自己做了些改动，可以进行相关的爬取工作。完整的代码见我的github,烦劳各位感觉满意的给个小星星呀，谢谢。这里的步骤涉及到使用ajax，建议看看相关的信息。这里不做累述步骤1-...