TINANP的博客

原创 爬取招聘网站数据分析数据，可视化，flume，hive，sqoop，mysql

一、爬取数据①qiancheng.py②pipelines.py③sitting④items二、数据储存1、把MongoDB数据导出为csv文件在E:\MongoDB\bin下cmdmongoexport.exe --csv -f _id,name,salary,gongsi,didian,jingyan,xueli,neirong,jineng -d qiancheng -c Table -o Test.csv2、上传数据3、利用flume收集日志（1）创建age

原创 Centos7关闭防火墙

#查看防火墙状态firewall-cmd --state#关闭防火墙systemctl stop firewalld.service#永久关闭防火墙systemctl disable firewalld.service

原创 创建虚拟机，安装linux系统

一、创建虚拟机新建一个虚拟机，选择自定义配置直接点下一步选择稍后安装操作系统选择linux操作系统配置完成，启动虚拟机，选择语言软件选择选择安装位置，就默认设置，直接点完成选择网络和主机名，可以修改主机名然后开始安装，设置root密码创建用户可以不用创建，安装完成重启就可以了。...

原创 Scrapy应对反爬虫策略

一、设置用户代理设置User Agent模拟浏览器，在Scrapy框架中，有四种方法设置User Agent。1、在settings.py中·直接设置User Agent。2、在settings.py中设置Scrapy的默认请求headers。3、直接在爬虫代码中为scrapy.Request添加headers参数。4、在中间件自定义headers。二、设置下载延迟、Cookies及使用代理ip1、设置下载延迟在settings.py中找到#DOWNLOAD_DELAY = 3,去掉注释。D

原创 2019年下半年JAVA实训 - 西蒙购物网（下）

（十三）展现层页面1、登录页面login.jsp在web.xml文件里将login.jsp设置为首页文件重启服务器不输入用户名与密码，单击【登录】按钮登录管理员账号登录普通用户登录未注册的用户2、注册页面register.jsp点击注册什么都不输入只输入用户名输入用户名、密码和电话注册成功单击【确定】按钮，跳转到登录页面查看数据库...

原创 2019年下半年JAVA实训 - 西蒙购物网

一、判断用户登录是否成功1、成功2、失败二、更新用户数据1、成功2、失败三、添加用户1、成功2、失败四、利用id删除用户1、成功2、失败五、利用id查询信息1、成功2、失败六、利用姓名查询1、成功2、失败七、查询所有信息...

原创 动态网页web项目LoginDemo

一、利用Intellij创建Web项目1、创建Java项目2、添加Web服务器配置

原创 Java实训第四天总结

主界面窗口点击X可以选择是否退出窗口，是则退出窗口，否则重新启动一个窗口注册窗口登录窗口点击取消则关闭窗口输入用户名和密码，错误则出现提示窗口。正确则进入学生管理系统。点击注册则打开注册窗口，关闭注册窗口则重新打开一个登录窗口。 日期：2019年...

原创 Java实训项目学生管理系统结构视图

原创 Java计算一元二次方程

package lesson03;import java.util.Scanner;public class SolveEquation {public static void main(String[] args) {//输出部分double a,b,c,delta,x1,x2;Scanner sc=new Scanner(System.in); //输出部分 Sys...

原创 Java计算三角形面积

package lesson02;import java.awt.*;import java.util.Scanner;/**功能：计算三角形面积作者：盘洪林日期：2019年3月19日*/public class area {public static void main(String[] args) {//声明部分double a, b, c,d, s;Sca...

原创 Java 学生基本信息

package net.hw.lesson01;/**功能：打印输出”学生基本信息“作者：盘洪林日期：2019年3月10日*/import java.applet.Applet;import java.awt.Color;import java.awt.Font;import java.awt.Graphics;public class StudentInfo extend...

原创 Java 购物清单

package net.hw.lesson01;/**功能：打印输出“购物清单”作者：盘洪林日期：2019年3月10日*/public class ShoppingList {public static void main(String[] args) {System.out.println(" \t购物清单" );System.ou...