- 博客(22)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 分布式爬虫(四):大结局
分布式爬虫之大结局篇:基于之前三篇博客配置的环境,缺一不可,若是漏了哪一步安装步骤,则可能存在运行报错问题。话不多说,抓紧时间结束这最后的分布式爬虫挣扎。操作环境: Windows10、Python3.6、Pycharm2019.3.1、VMware15、Xshell6相关文章: 分布式爬虫(一):配置虚拟机 分布式爬虫(二):配置安装Python以及redis 分布式爬虫(三):scrapy之中国网库目录一、scrapy-redis1.1、简介1.2、修改scrap.
2020-09-30 19:33:47
1771
2
原创 Git命令总结(二)
了解Git个人开发以及多人协同开发的命令操作与问题等等。。。操作环境: windows10、pycharm、Python3.6、Cmder、Git、谷歌浏览器目录Git远程仓库——“码云”创建远程仓库配置SSH克隆项目多人协同开发代码冲突问题标签分支总结Git远程仓库——“码云” 提示:Github网站作为远程代码仓库时的操作和本地代码仓库一样的,只是仓库位置不同而已!(远程仓库可选GitHub、码云或者公司提供等,具体按照实际情况看待) 码云与GitHub区别:GitHub是面向国际的.
2021-02-03 21:39:32
1540
2
原创 Git命令总结(一)
了解Git个人开发以及多人协同开发的命令操作与问题等等。。。操作环境: windows10、pycharm、Python3.6、Cmder、Git、谷歌浏览器目录Git简介工作区&暂存区&仓库区Git单人操作本地仓库Git简介 Git 是目前世界上最先进的分布式版本控制系统(没有之一)安装下载: Git可在所有操作系统上运行,但其安装方法有异。要在Windows系统下安装Git,请访问 https://gitforwindows.org/ ,并单击Download。(直接傻.
2021-02-03 21:02:42
1454
原创 Redis笔记
记录键值数据库Redis命令笔记,以便后续使用查看。redis中文文档:http://redis.cn/commands.html目录Redis介绍nosql概念介绍简介特性优势服务端与客户端命令服务端数据操作String键命令hashlistsetzset与Python交互主从小结概念简单配置Redis介绍nosql概念介绍泛指非关系型的数据库不支持SQL语法存储结构跟传统关系型数据库中的那种关系表完全不同,nosql中存储的数据都是KV形式NoSQL的世界中没有一种通用的语言,每种.
2021-02-03 13:19:46
1668
原创 分布式爬虫(三):scrapy之中国网库
距离上一篇博客时间过去了十几天,因学校毕业季以及考试的事情一直耽搁着。也在昨天小编成功收拾完宿舍的行李申请离校,跨出校门那一刻,挥手与舍友同学告别时,心头泛起说不清的感觉。但我知道“帷幕不会就此落下”,我们终将会有再“聚首”的时刻。在这里也预祝大家中秋国庆快乐!!! 回归正题,之前基本配置了虚拟机的环境,现在我们来认识了解scrapy框架爬虫的魅力。操作环境: Windows10、Python3.6、Pycharm2019.3.1、谷歌浏览器、cmd、SQLyog目标网址: http://www.
2020-09-29 18:23:13
1804
原创 分布式爬虫(二):配置安装Python以及redis
上一篇博客已将虚拟机安装以及配置网卡完成,接下来继续安装Python-3.6.5版本以及redis数据库。操作环境: Windows10、VMware Workstation Pro、Centos7、Xshell6相关文章: 分布式爬虫(一):安装虚拟机目录一、Python1.1、安装3.6.5版本1.2、pip1.2.1、pip换源1.2.2、解决pip下载“超时”二、redis一、Python1.1、安装3.6.5版本 第一步:准备编译环境yum groupinstall 'D.
2020-09-17 20:18:42
1811
原创 分布式爬虫(一):配置虚拟机
临近毕业季,因辅导员要求,写一份分布式爬虫的详细步骤文档,给予19届师弟师妹们参考学习。本应这次是继续上一个的字体加密爬虫,由于种种原因限制,就先写一份基于scrapy框架的分布式爬虫吧,后续再完善之前的字体反爬以及scrapy框架爬虫的博客。操作环境: Window10、Centos7、VMware Workstations Pro15相关文章: 爬虫(豆瓣电影、拉钩网、腾讯zp、新笔趣阁、链家网、起点中文网),豆瓣分析目录一、虚拟机1.1、安装虚拟机1.2、配置网卡1.3、Xshell.
2020-09-17 11:17:55
2491
2
原创 豆瓣电影(二):数据分析
豆瓣数据分析需要用到的数据文件 —> 豆瓣高分电影文件链接:https://pan.baidu.com/s/18cYvdphVOI7vT6PynDrmDA提取码:421y目录一、数据集1.1、导入三个基础库1.2、忽略警告1.3、设置字体和样式二、数据清洗2.1、缺失值三、绘图一、数据集1.1、导入三个基础库 Pandas: Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。 Numpy.
2020-09-02 10:22:04
3339
原创 豆瓣电影(一):网络爬虫
夏日炎炎,屋外三十多度的烈日温度,着实一点出门的欲望都无了,小编还是窝在宿舍里当个“肥宅”吧。豆瓣爬虫属于动静结合的数据类型,即列表页动态、详情页静态。对豆瓣高分电影信息进行详细爬取,并存入Excel表格,后续再对数据进行数据分析,简单可视化展示。操作环境: Windows10、Python3.6、Pycharm、谷歌浏览器目标网址: https://movie.douban.com/ (豆瓣电影)相关文章: 拉钩爬虫、腾讯招聘爬虫、新笔趣阁爬虫、链家网爬虫目录一、分析网页1.1、ajax加载.
2020-09-01 09:04:52
2569
2
原创 Python3网络爬虫之requests动态爬虫:拉钩网
人生苦短,我学Python!将爬虫作为Python的下一进阶知识点学习是不二选择,一方面能更好的复习Python,另一方面爬虫亦是更容易提起兴趣,“满足感”快易得。学习爬虫涉及到的其他领域知识广泛,有利于更快的了解其他领域的知识,拥有了兴趣,那还不是“有手就行”???哈哈,言归正传,这次小编带大家来解决拉钩的反爬机制。操作环境: Windows10、Python3.6、Pycharm、谷歌浏览器目标网址: https://www.lagou.com/jobs/list_Python/p-city_0.
2020-08-30 09:27:51
1463
翻译 MySQL笔记(十)——流程控制结构
目录流程控制结构分支结构:循环结构:流程控制结构 说明: 顺序结构:程序从上往下依次执行。 分支结构:程序按条件进行选择执行,从两条或多条路径中选择一条执行。 循环结构:程序满足一定条件下,重复执行一组语句。分支结构:特点: 1、if函数 功能:实现简单双分支 语法: if(条件,值1,值2) 位置: 可以作为表达式放在任何位置 2、case结构 功能:实现多分支 语法1: case
2020-08-30 08:35:45
306
翻译 MySQL笔记(九)——存储过程和函数
目录存储过程和函数存储过程:一、创建 **二、调用三、查看四、删除函数:一、创建二、调用三、查看四、删除存储过程和函数说明:都类似于java中的方法,将一组完成特定功能的逻辑语句包装起来,对外暴露名字好处:1、提高重用性2、sql语句简单3、减少了和数据库服务器连接的次数,提高了效率存储过程:一、创建 ** create procedure 存储过程名(参数模式 参数名 参数类型) begin 存储过程体 end 注意: 1.参数模式:in、out、inout,其中
2020-08-29 10:37:15
292
翻译 MySQL笔记(八)——变量
目录变量一、系统变量1、全局变量2、会话变量二、自定义变量1、用户变量2、局部变量变量一、系统变量 说明:变量由系统提供的,不用自定义 语法: ①查看系统变量 show 【global|session】variables like ‘’; 如果没有显式声明global还是session,则默认是session ②查看指定的系统变量的值 select @@【global|session】.变量名; ③为系统变量赋值 方式一: set 【global|session】变量名
2020-08-29 10:31:57
320
翻译 MySQL笔记(七)——视图
目录视图一、含义二、创建三、修改四、删除五、查看六、使用七、视图和表的对比视图一、含义 mysql 5.1版本出现的新特性,本身是一个虚拟表,它的数据来自于表,通过执行时动态生成、 好处: 1、简化sql语句; 2、提高了sql的重用性; 3、保护了基表的数据,提高了安全性。二、创建 create view 视图名 as 查询语句;三、修改 方式一:create or replace view 视图名 as 查询语句; 方式二:create v
2020-08-29 10:23:53
210
翻译 MySQL笔记(六)——TCL语言之事务
目录一、事务含义二、特点(ACID)三、事务的使用步骤***四、并发事务一、事务含义 事务:一条或多条sql语句组成一个执行单位,一组sql语句要么都执行要么都不执行二、特点(ACID) A 原子性:一个事务是不可再分割的整体,要么都执行要么都不执行 C 一致性:一个事务可以使数据从一个一致状态切换到另外一个一致的状态 I 隔离性:一个事务不受其他事务的干扰,多个事务互相隔离的 D 持久性:一个事务一旦提交了,则永久的持久化到本地三、事务的使用步骤*** 了解: 隐式(自动)
2020-08-29 10:16:48
276
翻译 MySQL笔记(五)——DDL语言
目录库和表的管理一、库的管理1、创建库2、修改库3、删除库二、表的管理1、创建表**2、修改表3、删除表4、复制表数据类型一、数值型1、整形2、浮点型3、字符型4、日期型常见的约束一、主键和唯一:1、区别:2、相同点:二、创建表时添加约束三、修改表时添加或删除约束1、非空2、默认3、主键4、唯一5、外键四、自增长列库和表的管理一、库的管理1、创建库 create database 【if not exists】 库名【 character set 字符集名】;2、修改库 alter data
2020-08-29 10:08:48
206
翻译 MySQL笔记(四)——DML语言之增删改查
目录一、插入二、修改2.1、修改单表的记录 **2.2、修改多表的记录【补充】三、删除一、插入 方式一: 语法: insert into 表名(字段名,…) values(值,…);特点:1、要求值的类型和字段的类型要一致或兼容2、字段的个数和顺序不一定与原始表中的字段个数和顺序一致,但必须保证值和字段一一对应3、假如表中有可以为null的字段,注意可以通过以下两种方式插入null值 ①字段和值都省略 ②字段写上,值使用null4、字段和值的个数必须一致5、字段名可以
2020-08-29 09:54:30
349
翻译 MySQL笔记(三)——DQL语言查询
目录SQL99语法1、内连接2、外连接3、交叉连接子查询1、子查询含义2、分类2.1、按出现位置2.2、按结果集的行列3、示例:3.1、标量子查询3.2、列子查询分页查询1、分页查询应用场景2、语法:联合查询1、含义2、语法:3、意义4、特点查询总结SQL99语法1、内连接 语法: select 查询列表 from 表1 别名 【inner】 join 表2 别名 on 连接条件 where 筛选条件 group by 分组列表 having 分组后的筛选 order by
2020-08-29 09:48:03
599
翻译 MySQL笔记(二)——DQL语言基础
目录基础查询:一、语法二、特点三、示例1、查询单个字段2、查询多个字段3、查询所有的字段4、查询常量5、查询函数6、查询表达式7、起别名8、去重9、+10、【补充】concat函数11、【补充】ifnull函数12、【补充】isnull函数条件查询:一、语法二、筛选条件的分类基础查询:一、语法 select 查询列表 from 表名;二、特点 1、查询列表可以是字段、常量、表达式、函数,也可以是多个 2、查询结果是一个虚拟表三、示例1、查询单个字段 select 字段名 fro
2020-08-29 09:26:06
235
翻译 MySQL笔记(一)——数据库相关概念
目录一、数据库的好处二、数据库的常见概念三、数据库存储数据的特点四、常见的数据库管理系统五、MySQL的背景六、MySQL的优点七、MySQL服务的启动和停止八、MySQL服务的登录和退出一、数据库的好处 1、可以持久化数据到本地 2、结构化查询二、数据库的常见概念 1、DB:数据库,存储数据的容器 2、DBMS:数据库管理系统,又称为数据库软件或数据库产品,用于创建或管理DB 3、SQL:结构化查询语言,用于和数据库通信的语言,不是某个数据库软件特有的,而是几乎所有的主流数据库软件
2020-08-29 09:19:23
324
原创 Python3网络爬虫之requests动态爬虫:腾讯招聘
招聘爬虫之“了解腾讯岗位信息”大数据时代,已不局限于书面了解世界,而是通过物联网达到足不出户眺望远方。这次小编带大家来看看另一种爬虫技术:动态爬虫,不同于之前两篇的静态爬虫,数据不存在于网页源码中,而是由Ajax渲染的接口数据。我们将通过“X讯招聘”爬虫来了解这方面的知识。操作环境: Windows10、Python3.6、Pycharm、谷歌浏览器目标网址: https://careers.tencent.com/search.html?pcid=40001==================
2020-08-29 08:53:55
1840
原创 Python3网络爬虫之requests静态爬虫:《新笔趣阁》
《新笔趣阁》之全站爬虫身为十年老书虫,学习爬虫不爬取全站小说网都对不起这个身份。我相信,对于很多人来说,小说是人的第二精神世界,是某些时刻精神慰问的佳肴。小编最喜欢的作者是实验小白鼠的作品,鼠大的作品主打玄幻和都市,若碰巧遇到鼠哥的粉丝可私信闲聊,哈哈。扯远了,回归正题,这次对《新笔趣阁》全站爬取小说并存入txt文件!!!操作环境: Windows10、Python3.6、Pycharm、谷歌浏览器目标网址: http://www.xbiquge.la/xiaoshuodaquan/ (新笔趣
2020-08-27 13:48:09
1132
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人