实训
文章平均质量分 89
也许,无
这个作者很懒,什么都没留下…
展开
-
利用python编写爬虫程序,从招聘网站上爬取数据,将数据存入到MongoDB数据库中,将存入的数据作一定的数据清洗后做数据分析,最后将分析的结果做数据可视化
教程演示创建爬虫项目编写需要爬取的字段(items.py)编写spider文件(wuyou.py)编写数据库连接(pipelines.py)编写反爬措施(settings.py)MongoDB数据库的安装软件下载数据测试本人已经爬取了一部分数据,分享出来供大家测试配置Linux环境在这里本人使用的资源都会发布出来为了方便大家的测试,配置好的虚拟机我也会分享出来启动Hadoop集群数据储存具体要求:将爬取的数据存储到hdfs上。利用flume收集日志1:将mongodb数据库的爬虫数据导入出来存为csv或者t原创 2020-07-14 13:59:00 · 5335 阅读 · 2 评论 -
爬取前程无忧存入数据库进行数据分析和可视化绘制词云图
爬取前程无忧网站爬虫基本思路获取数据在网页的位置----编写防爬-----启动数据库保存数据本次教程使用的是mongodb数据库(MySQL)原理差不多,自己百度吧ps:本次测试日期是2020/7/4 后面因为网站更新防爬措施无法实现功能本教程不背锅!1、具体要求:职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容(岗位职责)、任职要求(技能要求)。spider文件代码# -*- coding: utf-8 -*-import scrapyimport refrom .原创 2020-07-04 21:23:40 · 1371 阅读 · 2 评论 -
Java Web实训项目:西蒙购物园
一、功能需求1、只有注册用户成功登录之后才可查看商品类别,查看商品,选购商品,生成订单、查看订单。2、只有管理员才有权限进入购物网后台管理,进行用户管理、类别管理、商品管理与订单管理。二、设计思路1、采用MVC设计模式分层架构:展现层(JSP)<——>控制层(Servlet)<——>业务层(Service)<——>模型层(Dao)<——>数...转载 2019-12-05 20:22:30 · 1670 阅读 · 2 评论 -
Java实训第一天
实训目的:让学生综合运用J2SE有关知识开发【学生信息管理系统】。主要涉及程序控制结构、面向对象编程、图形用户界面、Java数据库应用、MySQL数据库这几个方面的内容。通过本项目的开发,让学生了解系统开发的一般流程,初步了解MVC模式与单元测试,巩固所学的Java理论知识,提高Java数据库应用编程的基本技能。项目说明:本实训案例教学,利用Java SE基本知识是开发【学生信息管理系统】。本...原创 2019-06-26 15:05:40 · 895 阅读 · 1 评论 -
实训第三天续:GUI学生信息管理系统(2019)【下】
13、应用程序类此时,三个窗口界面类还未创建,因此程序会报错。14、窗口界面类(JFrame)创建net.hw.student.gui包,在里面先创建三个界面类:LoginFrame、MainFrame与RegisterFrame(1)主界面窗口MainFrame (V1.0) —— 代码后面还会修改知识点:给窗口注册监听器第一种做法,采用监听器接口,有七个事件处理方法...转载 2019-07-02 08:55:57 · 376 阅读 · 0 评论 -
实训第四天
(17)按性别统计人数窗口CountStudentsBySex代码如下package net.hw.student.gui;import net.hw.student.service.StudentService;import net.hw.student.service.impl.StudentServiceImpl;import javax.swing.*;impor...转载 2019-07-02 09:28:58 · 143 阅读 · 0 评论 -
Java实训第二天
(2)状态数据访问接口实现类StatusDaoImpl在net.hw.student.test包里创建测试类TestStudentDaoImpl:运行(3)学生数据访问接口实现类StudentDaoImpl在net.hw.student.test包里创建测试类TestStudentDaoImpl:编写测试插入的方法testInsert()运行...转载 2019-06-28 14:47:00 · 107 阅读 · 0 评论 -
Java实训第三天
(1)学校服务接口CollegeServicepackage net.hw.student.service;import net.hw.student.bean.College;/** * 功能:学校服务接口 * 作者:gongjing * 日期:2019/6/28*/public interface CollegeService { College findcol...转载 2019-06-28 16:39:12 · 93 阅读 · 0 评论 -
Web应用小案例:实现登录功能
一,创建web项目lojinDemo二,添加web服务器三,进行项目部署的修复工作四,添加web功能四,在项目下创建动态网页login.jsp和do_lojin.jsp失败页面failure.jsp和成功网页success.jsp1.<h3 style="text-align: center">用户登录&l...原创 2019-09-11 20:35:27 · 825 阅读 · 0 评论