Linux centos下安装mysql数据库 废话不说，直接上流程1、先下载并安装官方的 yum repository （可以新建一个mysql文件夹） wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm2、安装下载过来的文件（yum repository） yum -y install mysql57-community-release-el7-10.noarch.rpm3、yum安装mysql yum -y...
控制流程之 if。。。else。。 while 和do。。while干货 条件语句 if条件语句是编程常用必不可少的条件语句，其基本结构如下：int a= 1;int b = 3; if (a>b){ System.out.println("---");}else {System.out.println("yyy");}上面是条件语句的基本使用，但是如果判断条件过多呢？如果是多重判断呢？该怎么才能写出最优的if条件语句？下面一一为你解答：1，在判断之前，要先考虑判断的多种可能性，需要覆盖全部的可能性...
爬虫使用selenium时 Chrome对应webdriver版本 在使用selenium爬取数据时，要安装Chrome对应的webdriver，有时会找不到对应关系，所以在这记录一下Chrome版本和webdriver对应关系网址如下http://chromedriver.storage.googleapis.com/index.html1、按照上面的网址 找到对应的Chrome版本， 点进去下载对应系统的webdriver。2、把下载好的w...
'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes 爬虫运行时报：'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes read, 2614 more expected)的错误。 解决方法： 在请求时加上stream = Trueeg：response ...
js逆向之企名片加密参数encrypt_data的破解 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_38534107/article/details/90673483打开网站 --->企名片我们主要破解的是企业信息的加密数据，主要是红框里面的数据，如下图所示：我们查看此页面的源码，并没有发现源码里面有该数据，那就可...
加速乐的欢乐破解与__jsl_clearance的生成 最近在写gsxt的爬虫， 在当初分析请求的时候，老是遇到返回521，基础的反爬都用上了，还是没用， 最后找到了咱们亲爱的“度娘”和谷歌，才知道他们升级了最新的加速乐的最新爬虫防护机制。防护机制分析：像gsxt发送请求，初次返回521，而且返回的response.text是一串令人脑阔痛的js代码，因为request.get并支持执行js代码，所以导致拿不到合法的cookie值，...
爬虫数据清洗之html标签的清洗 我们平常爬取数据时，会经常有多余的html便签，下面我们就来清洗一下这些标签：1，只清洗标签，可以用正则，也可以用remove（），remove_tags（）函数正则清洗：import rehtml='<p class="txt" node-type="feed_list_content" nick-name="人民日报"> ...
Charles的安装和注册码破解 1， 安装Charles，直接去官网下载安装 传送门2，安装后准备注册码注册破解，点击Help——> 点击下拉框的第一条 registerd to 然后输入下面的注册码即可Registered Name: https://zhile.ioLicense Key: 48891cf209c6d32bf4--------------------------------------...
安装scrapy时twisted报错 在安装scrapy时，经常碰到twisted安装失败的报错，百度了很多，都没解决，最后找到了是需要自己手动安装Twisted-19.2.0-cp36-cp36m-win_amd64.whl文件文件下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted安装命令：pip install 文件的存放路径pip instal...
mysql 报错ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executin 我是刚安装好mysql，登陆进去准备查看一下数据库，就报这种错误，无论输入什么命令都是这种错误百度了一下，解决方法有以下几个：一、重置用户密码：mysql> alter user 'root'@'localhost' identified by 'youpassword'; 或者 mysql>set password=password("youp...
安装mysql服务初始化时，出现“找不到msvcp140.dll”错误 今天刚上班，准备重装一下mysql，谁知装到一般的时候突然跳出来“找不到msvcp140.dll”这个错误，百度了很多答案，也试了好多，都不怎么可行，最后终于让我找到了真相！！真相就是没有安装VC++2015版运行库导致的（Microsoft Visual C++ 2015 Redistributable）下载地址：https://www.microsoft.com/en-us/downl...
python爬虫面试题 1，python 常用数据结构有哪些？请简要介绍一下。答：列表，元组，字典，集合等 列表：有序集合，可随时改变元素 元组：有序集合，一旦初始化，不可变 字典：无序集合，以key-value形式存储，key可为元组，字符串，整数等，不可重复，可随时更改 集合：无序集合，key储存，可随时增删查改2，简要描述 Python 中单引号、双引号、三引号的区别。...
在使用pycharm时代码无法自动提示解决 问题：今天在使用pycharm时遇到了代码无法提示的问题 解决方案： 1. 在打开pycharm时必须要等待indexing完全加载结束； 2.找到file菜单栏中的“Power Save Mode”选项，确保不被勾选就行了 ...
爬虫爬取数据时各种中文乱码问题 学爬虫有一段时间了，期间总是觉得内容编码会傻傻分不清楚，尤其是直接网页拿数据的时候，遇见中文有时候特别麻烦，看大神介绍的东西太多，只记下了处理方式，仅供参考，不对地方欢迎大家指正~~一般请求返回内容编码方式步骤如下：1、查看数据源网页的编码形式--爬取数据所在网页源代码就有写：2、编码解析：respond.decode(请求返回的编码格式).encode(Python默认的utf-...
mysql报错RuntimeError: cryptography is required for sha256_password or caching_sha2_p 报错原因：mysql版本身份验证出现问题引起的官方解释：https://dev.mysql.com/doc/refman/8.0/en/caching-sha2-pluggable-authentication.html解决方法： 1.查询你的mysql数据库中user表plugin列的值，是否如下 如果跟图中的值不同，请进行下面的操作 ...
mysql基础之数据库和表的创建 mysql数据库和表的创建1.数据库的创建 在mysql中创建一个数据库需要先进入mysql环境，然后创建数据库，我们创建个动物园（menagerie）数据库mysql> CREATE DATABASE menagerie; 请注意如果出现错误，比如 ERROR 1044 (42000): Access denied for u...
Python Sqlit3以字典形式返回查询结果的实现方法 在mysql中有原生提供的字典形式的游标,但是在sqlite3中并没有这样的游标cursor= connect.cursor(pymysql.cursors.DictCursor) 但是在Python的官方文档中已经留有响应的实现方案 def dict_factory(cursor, row): d = {} for idx, col in enu...
Python爬虫实战项目之小说信息爬取 我们以奇书网为例进行爬取网址：https://www.qisuu.la一，先新建一个新的文件夹，名字自取，用于存放py文件和爬取的数据二，找到要爬取的网站的ur和你自己浏览器的请求头，（因为我是以奇书网为例，浏览器为火狐浏览器） url= ‘https://www.qisuu.la/soft/sort01/’ 请求头：‘User_Anger’: 'Moz...
关注
