pycharm显示全部数据_Python爬取数据写入MySQL实战！

作为一个刚接触mysql的编程中白，本不该在这里大放厥词！但是在跃哥以及群里的朋友们的鼓励下还是在这边准备详细的写一下有关——我的安装mysql后启动mysql遇到的一种bug以及Python将爬取到的数据写入到mysql数据库中，以及从mysql数据库中保存的信息选取部分信息绘制饼状图以及柱状图进行可视化分析！

01、windows下安装MySQL

Mysql是一种关系型数据库，因为比较方便整理数据，所以现在被大多数公司使用，也是面试的时候面试官经常问的一个方向(看大佬们的文章了解到的，小编才大二)，所以学好，用好mysql数据库是一件非常重要的事情！

关于windows下Mysql数据库的配置，大家可以【在我的微信公众号后台的软件目录里面找到！】(lures安装的是Mysql8.0版本)

大家按照文章中的步骤一步一步的安装，是不会出现问题的！

在这里，强烈建议大家安装mysql时就安装在默认路径！

02、解决启动MySQL时的bug！

这个bug是非常严重的，lures是前天晚上安装的，测试的时候是没有任何问题！该测试的部分测试都No error！但是只是隔了一天，在啥都没动的情况下！MySQL启动后Navicat Premium居然连接不上！

当时lures在必应上搜了快3小时，按照网上的那些教程试了一遍！结果依旧没有解决！反而遇到了更多的bug！

在这边记录一下：

①在【开始】界面搜索到的【MySQL8.0 Command Line Client】，以管理员身份打开后，轻松的按照提示输入了密码，但是界面立马闪退！

②以管理员身份启动【cmd】窗口，输入mysql -u root -p后，返回下面的信息！

③以管理员身份启动【cmd】窗口，输入mysql -uroot -p，返回下面的信息！

④开启【Navicat Premium】，连接mysql数据库，返回下面的信息！

基本问题就这么多！返回的基本都是一个报错信息！

ERROR 1045(28000)：Access denied for user 'root@localhost;(using password:YES)

在跃哥的帮助下，解决了这个问题！下面就是解决办法！①Mysql的默认安装目录是：C:\Program Files\MySQL\MySQL Server 8.0\bin打开上一级目录是这样的：( 默认少一个my.ini配置信息)

②那我们从哪里得到这个my.ini的配置信息呢？打开下面的目录：C:\ProgramData\MySQL\MySQL Server 8.0这里面会有my.ini配置文件！

③将 C:\ProgramData\MySQL\MySQL Server 8.0下的my.ini文件复制到 C:\Program Files\MySQL\MySQL Server 8.0\bin安装目录中

④双击打开复制的my.ini文件，找到【mysqld】，在下面添加skip-grant-tables    保存即可！

      ⑤再以管理官身份启动【MySQL8.0 Command Line Client】，输入密码后就可以出现下面的信息！

  以管理员身份启动【cmd】，输入下图中的命令：

        发现都没有问题！再启动【Navicat Premium】也是没有问题的，所以bug得以解决！

03、分析拉勾界面！

拉勾官网在2月份就爬过了，当时遇到的一个问题是cookie验证的问题！每隔一段时间cookie就会失效，所以不能频繁的爬取！好在萌萌学姐解决了这个问题！

拉勾官网：https://www.lagou.com/

因为外包要求是【光电】，所以爬取的就是【光电】之类的数据！

    熟练的按下快捷键【F12】，打开下图箭头指向的按钮！

    再切换到【Network】下面，先选择【Doc】，再刷新网页！

    显示出来的信息是：

    再分别打开看一下：

    发现一件事情，这个params里面并没有【光电】关键字，于是感觉这个不像是真实的url，于是再点击后面的几页进行查看！

    发现一件神奇的事情，咦……这个网页似乎没增加过！

    哦……很快就明白了这是一个ajax动态加载类型的网站！

    于是，俺就明白了，这个真实的url啊，可能在【xhr】下面！

    按照步骤继续，先切换到【xhr】下面，接着刷新网页！

    好家伙，出现不少东西！

    那就一个一个网页看吧！params包含【光电】的就可能是我们真实的请求了！

    哈利路亚！lures的运气似乎不错呢，第二次尝试就找到了这个！

    那这个很有