2017开始学爬虫

记录一下学习打造收集数据网站的过程

　　链接：www.mite8.com，学习如何做出类似这样的网站。

　　这个网站特点主要体现在爬虫＋数据分析＋数据可视化，现在将学习如何打通从收集数据，到处理，到分析，到网站数据可视化整套流程。
　　技术方面需要关注:
　　 1.如何解决数据源的问题：爬，所以需要爬虫知识
　　 2.如何做数据存储：ＭＹＳＱＬ
　　 3.如何做数据分析：ｊａｖａ逻辑处理，数据清洗，再做ＭＹＳＱＬ的统计分析
　　 4.如何构建一个网站：阿里云服务器一枚＋域名一枚＋spring boot。需要一个云服务器，上面搭建数据库、爬虫服务、数据清洗进程，以及网站代码
　　 5.如何做出绚丽的可视化图标：Ｅｃｈａｒｔｓ，百度开发的可视化框架。
　　 总结一下：需要爬虫技术ｐｙｔｈｏｎ、ｊａｖａ都行，拿到数据会做抓包分析，会一些基础的破解反爬策略；需要会数据库操作，最基本的ＭＹＳＱＬ得会一点，增删改查，数据储存，建表删表，数据清洗转换；云服务器有点了解ｘｓｈｅｌｌ客户端的使用，登陆服务器设置防火墙；Ｌｉｎｕｘ操作会一点，域名知识了解点，jａｖａ后端框架会一点，前端知识css js 布局需要知道，数据可视化框架需要懂…等等

　　整个数据流程，从数据收集，到数据存储，到处理，到统计分析，到网站，到数据最终展示，设计技术很多，需要打造这个东西需要强大的动力支持。

那么，从爬虫开始我的学习之路。