- 博客(6)
- 收藏
- 关注
RSS订阅原创 python爬取疫情数据保存至mysql
python爬取疫情数据保存至mysql目标数据由于数据是Json格式，这里使用了正则表达式解析数据。本次爬取难度不大，主要有以下两点需要注意正则表达式的规则；用(.*?)表示待匹配的内容，将左、右两边的数据卡死(常规套路)。爬下来的数据，需要转为List类型才能放到mysql中。保存到mysql中:完整代码：# 2020/9/10import requests,reimport pymysqlclass Crawl(object): def __init
2020-09-13 10:30:46
547
原创 使用python爬取前程无忧上的岗位信息
前程无忧目前属于静态网站，，爬取起来难度不大步骤分析：1.进入目标网站，观察和判断网站的类型这里用谷歌浏览器 鼠标右键打开开发者模式，勾选network,xhr选项并刷新页面如下图所示，xhr作为ajax的对象载体，这里并发现内容并没有变化，凭此可以判断这是一个静态页面2.确定岗位和区域范围，这里以JAVA和成渝地区为例3.确定之后，观察url的变化规律，发现：以数字2为界，左边...
2019-11-10 19:43:12
843
原创 python爬取一部小说
这次爬取一个鬼吹灯的小说步骤很简单第一步：选取目标小说的网站（这次是个静态网站）第二步：获取网页源码（由于静态网站的缘故，这一步非常简单了）第三步：使用正则表达式，或任意解析库，解析源码信息第四步：保存到本地，小说就保存为txt格式，手机也可以看这次操作占用的资源很少，所以也不需要引用scrapy框架，或selenium插件。下面直接套代码:import requests,json...
2019-11-10 19:10:08
332
转载 Linux上安装Pycharm
Linux上安装Pycharm(是自己Linux上安装的第一个软件）这里记录下具体流程:1.下载资源：去官网下载就行。2. 软件安装（这里一定要清楚软件安装的路径，通常会在home目录的Downloads下）：解压命令：tar -zxvf pycharm路径 ,3. 解压完成后，需要修改配置文件切换为root用户后， 输入 vim/etc/hosts添加这行代码 0.0.0.0 ...
2019-09-22 12:43:40
255
原创 Ubuntu上安装vim编辑器
当虚拟机上安装linux/Ubuntu时，默认是不会自带vim编辑器的，而如果使用vi，在操作上感觉并不是很方便（具体就是backspace）。所以这里要安装vim包，打开终端输入:sudo apt-get install vim 接下来，发现linux命令确实好用。不用一会，就安装完成了。...
2019-09-18 21:51:15
859
原创 使用scrapy爬取一部小说
使用scrapy爬取一部小说 一.安装scrapy框架:(在安装有python，以及几个必须的依赖库的情况下)打开cmd终端，输入 pip install scrapy，安装成功后，可以看到Successfully installl Scrapy-x.x.x这里的pip 指的python的包管理工具二.创建项目，爬虫文件:切换到任意盘符的根目录，输入 scrapy startproje...
2019-09-18 21:16:30
809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人