- 博客(3)
- 收藏
- 关注
RSS订阅原创 scrapy爬虫+hive存储+数据可视化
实训要求利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，利用flume采集日志进HDFS中，利用hive进行分析，将hive分析结果利用sqoop技术存储到mysql数据库中，并显示分析结果，最后将分析的结果做数据可视化。搭建爬虫本次选取的网站是前程无忧网，利用框架是scrapy。1. 用scrapy框架创建爬虫2. items.pyimport scrapyclass Job51Item(scrapy.Ite
2020-07-15 10:31:02
3582
原创 javaweb西蒙购物 中
javaweb西蒙购物 中今天在控制程里写入代码控制类，在src下面的包创建1.运行LoginServlet在地址栏localhost:8080/simonshop/输入login?username=admin&password=903213，回车看控制台2.制作登陆失败登录,查看能否登录，运行LoginServlet在地址栏localhost:8080/simonshop/输...
2019-12-12 10:23:14
196
原创 作业:Web应用小案例：实现登录功能
作业:Web应用小案例：实现登录功能共四个页面，一个主页面index.jsp,一个是判断账号密码正确与否的的检查页面check.jsp，还有两个分别是成功页面和失败页面。1、 创建Web项目LoginDeam2、在web目录下创建login.jsp3、把login.jsp设置为项目首页文件4、在web目录下创建do_index.jsp，在web目录下创建lose.jsp，在web目...
2019-09-11 23:31:52
406
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人