- 博客(25)
- 收藏
- 关注
RSS订阅原创 Linux centos下安装mysql数据库
废话不说，直接上流程1、先下载并安装官方的 yum repository （可以新建一个mysql文件夹） wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm2、安装下载过来的文件（yum repository） yum -y install mysql57-community-release-el7-10.noarch.rpm3、yum安装mysql yum -y...
2020-05-25 15:28:09
338
原创 控制流程之 if。。。else。。 while 和do。。while干货
条件语句 if条件语句是编程常用必不可少的条件语句，其基本结构如下：int a= 1;int b = 3; if (a>b){ System.out.println("---");}else {System.out.println("yyy");}上面是条件语句的基本使用，但是如果判断条件过多呢？如果是多重判断呢？该怎么才能写出最优的if条件语句？下面一一为你解答：1，在判断之前，要先考虑判断的多种可能性，需要覆盖全部的可能性...
2020-05-14 21:34:42
599
原创 爬虫使用selenium时 Chrome对应webdriver版本
在使用selenium爬取数据时，要安装Chrome对应的webdriver，有时会找不到对应关系，所以在这记录一下Chrome版本和webdriver对应关系网址如下http://chromedriver.storage.googleapis.com/index.html1、按照上面的网址 找到对应的Chrome版本， 点进去下载对应系统的webdriver。2、把下载好的w...
2019-10-24 10:58:33
701
原创 'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes
爬虫运行时报：'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes read, 2614 more expected)的错误。 解决方法： 在请求时加上stream = Trueeg：response ...
2019-10-24 10:05:29
4183
1
js逆向之企名片加密参数encrypt_data的破解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_38534107/article/details/90673483打开网站 --->企名片我们主要破解的是企业信息的加密数据，主要是红框里面的数据，如下图所示：我们查看此页面的源码，并没有发现源码里面有该数据，那就可...
2019-09-11 11:23:34
1515
原创 加速乐的欢乐破解与__jsl_clearance的生成
最近在写gsxt的爬虫， 在当初分析请求的时候，老是遇到返回521，基础的反爬都用上了，还是没用， 最后找到了咱们亲爱的“度娘”和谷歌，才知道他们升级了最新的加速乐的最新爬虫防护机制。防护机制分析：像gsxt发送请求，初次返回521，而且返回的response.text是一串令人脑阔痛的js代码，因为request.get并支持执行js代码，所以导致拿不到合法的cookie值，...
2019-07-22 18:29:25
2285
3
原创 爬虫数据清洗之html标签的清洗
我们平常爬取数据时，会经常有多余的html便签，下面我们就来清洗一下这些标签：1，只清洗标签，可以用正则，也可以用remove（），remove_tags（）函数正则清洗：import rehtml='<p class="txt" node-type="feed_list_content" nick-name="人民日报">\n ...
2019-07-08 11:54:52
5747
原创 Charles的安装和注册码破解
1， 安装Charles，直接去官网下载安装 传送门2，安装后准备注册码注册破解，点击Help——> 点击下拉框的第一条 registerd to 然后输入下面的注册码即可Registered Name: https://zhile.ioLicense Key: 48891cf209c6d32bf4--------------------------------------...
2019-06-27 09:41:22
1470
1
原创 安装scrapy时twisted报错
在安装scrapy时，经常碰到twisted安装失败的报错，百度了很多，都没解决，最后找到了是需要自己手动安装Twisted-19.2.0-cp36-cp36m-win_amd64.whl文件文件下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted安装命令：pip install 文件的存放路径pip instal...
2019-05-08 11:11:56
360
原创 mysql 报错ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executin
我是刚安装好mysql，登陆进去准备查看一下数据库，就报这种错误，无论输入什么命令都是这种错误百度了一下，解决方法有以下几个：一、重置用户密码：mysql> alter user 'root'@'localhost' identified by 'youpassword'; 或者 mysql>set password=password("youp...
2019-05-07 16:22:53
210
原创 安装mysql服务初始化时，出现“找不到msvcp140.dll”错误
今天刚上班，准备重装一下mysql，谁知装到一般的时候突然跳出来“找不到msvcp140.dll”这个错误，百度了很多答案，也试了好多，都不怎么可行，最后终于让我找到了真相！！真相就是没有安装VC++2015版运行库导致的（Microsoft Visual C++ 2015 Redistributable）下载地址：https://www.microsoft.com/en-us/downl...
2019-05-07 16:04:35
1393
原创 python爬虫面试题
1，python 常用数据结构有哪些？请简要介绍一下。答：列表，元组，字典，集合等 列表：有序集合，可随时改变元素 元组：有序集合，一旦初始化，不可变 字典：无序集合，以key-value形式存储，key可为元组，字符串，整数等，不可重复，可随时更改 集合：无序集合，key储存，可随时增删查改2，简要描述 Python 中单引号、双引号、三引号的区别。...
2019-03-07 19:54:02
450
原创 在使用pycharm时代码无法自动提示解决
问题：今天在使用pycharm时遇到了代码无法提示的问题 解决方案： 1. 在打开pycharm时必须要等待indexing完全加载结束； 2.找到file菜单栏中的“Power Save Mode”选项，确保不被勾选就行了 ...
2019-01-11 15:16:55
4237
转载 爬虫爬取数据时各种中文乱码问题
学爬虫有一段时间了，期间总是觉得内容编码会傻傻分不清楚，尤其是直接网页拿数据的时候，遇见中文有时候特别麻烦，看大神介绍的东西太多，只记下了处理方式，仅供参考，不对地方欢迎大家指正~~一般请求返回内容编码方式步骤如下：1、查看数据源网页的编码形式--爬取数据所在网页源代码就有写：2、编码解析：respond.decode(请求返回的编码格式).encode(Python默认的utf-...
2019-01-03 12:08:26
10849
1
原创 mysql报错RuntimeError: cryptography is required for sha256_password or caching_sha2_p
报错原因：mysql版本身份验证出现问题引起的官方解释：https://dev.mysql.com/doc/refman/8.0/en/caching-sha2-pluggable-authentication.html解决方法： 1.查询你的mysql数据库中user表plugin列的值，是否如下 如果跟图中的值不同，请进行下面的操作 ...
2018-12-29 10:31:22
24563
12
原创 mysql基础之数据库和表的创建
mysql数据库和表的创建1.数据库的创建 在mysql中创建一个数据库需要先进入mysql环境，然后创建数据库，我们创建个动物园（menagerie）数据库mysql> CREATE DATABASE menagerie; 请注意如果出现错误，比如 ERROR 1044 (42000): Access denied for u...
2018-12-06 21:07:40
443
原创 Python Sqlit3以字典形式返回查询结果的实现方法
在mysql中有原生提供的字典形式的游标,但是在sqlite3中并没有这样的游标cursor= connect.cursor(pymysql.cursors.DictCursor) 但是在Python的官方文档中已经留有响应的实现方案 def dict_factory(cursor, row): d = {} for idx, col in enu...
2018-11-13 15:49:27
1096
原创 Python爬虫实战项目之小说信息爬取
我们以奇书网为例进行爬取网址：https://www.qisuu.la一，先新建一个新的文件夹，名字自取，用于存放py文件和爬取的数据二，找到要爬取的网站的ur和你自己浏览器的请求头，（因为我是以奇书网为例，浏览器为火狐浏览器） url= ‘https://www.qisuu.la/soft/sort01/’ 请求头：‘User_Anger’: 'Moz...
2018-08-11 12:10:47
2516
原创 Python虚拟环境的安装和配置(windows)
Python虚拟环境的安装和配置(windows)1.先在电脑上将python2.7和python3.6版本安装完成，并记清楚安装路径,统一安装在D盘2.配置系统环境变量中的path路径，添加路径的版本即为默认使用版3.在命令行工具中输入pip install virtualenv 下载python虚拟环境 4.在使用pip下载包时，经常会出现超时...
2018-08-04 14:07:18
1394
原创 python基础项目之猜数字游戏
# 引入随机数包import random'''1.生成一个随机答案数2.输入要猜的数字3.对比猜的数字和正确答案 3.1 猜大了 3.2 猜小了 3.3 猜对了 3.3.1 继续玩 3.3.2 退出'''number = random.randint(0,100)# 声明变量用来表示用户猜测的次数count = 0...
2018-08-04 11:40:41
885
原创 python基础篇之列表
list 列表，容器类，可以用来存储数据元素，列表是最常用的Python数据类型，它可以作为一个方括号内的逗号分隔值出现。列表的数据项不需要具有相同的类型列表中存储的数据都是有顺序的，第一个元素的索引(下标)为0，第二个元素为1，依此类推创建一个列表，只要把逗号分隔的不同的数据项使用方括号括起来即可。如下所示list_1 = ['hello',1234,3.14,True,'...
2018-08-04 11:34:08
228
原创 python基础篇之数据基本类型
Python3 基本数据类型Python 中的变量不需要声明。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。在 Python 中，变量就是变量，它没有类型，我们所说的"类型"是变量所指的内存中对象的类型。等号（=）用来给变量赋值。等号（=）运算符左边是一个变量名,等号（=）运算符右边是存储在变量中的值。例如：counter = 100 #整数变量miles...
2018-08-04 10:59:43
136
原创 python基础篇之python3的环境搭建
Python3 可应用于多平台包括 Windows、Linux 和 Mac OS X。Unix (Solaris, Linux, FreeBSD, AIX, HP/UX, SunOS, IRIX, 等等。) Win 9x/NT/2000 Macintosh (Intel, PPC, 68K) OS/2 DOS (多个DOS版本) PalmOS Nokia 移动手机 Windows...
2018-08-04 10:31:51
334
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人