ITwangxiaoxu的博客

原创 sqoop配置

一.简介Sqoop是一种旨在在Hadoop与关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统（RDBMS）或大型机导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据导出回RDBMS 。sqoop官网：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html二.安装1、解压sqoop[root@master app]# pwd/root

原创 mysql和hive安装

hive概述Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已经存储的数据上。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。数据仓库hive官网：https://hive.apache.org/一，安装mysql1、mysql解压[root@master mysql]# mkdir /usr/local/src/mysql [root@master mysql]# tar -xvf mysql-5.7.28-1

原创 Java Web实训项目：西蒙购物网3

（九）准备图片资源在web目录里创建images目录，存放项目所需图片文件：（十）CSS样式文件在web目录里常见css子目录，在里面创建main.css文件：/* 样式 */body { margin: 0px; text-align: center; background: url("../images/frontBack.jpg") no-repeat;...

原创 利用hive进行分析，将hive分析结果利用sqoop技术存储到mysql数据库中，可视化结果

flume监听hive日志文件并写入hdfs修改hive默认日志文件夹进入conf文件夹cp hive-exec-log4j2.properties.template hive-log4j2.propertiesvi hive-exec-log4j2.properties将日志文件夹修改回到根目录创建logs目录（mkdir logs）Flume介绍Flume是Apache基金会组织的一个提供的高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类

原创 hive进入报错

连接MySQL数据库出现解决办法进入mysql1.修改wait_timeout的参数值 查看wait_timeout的值，命令：show global variables like 'wait_timeout'; 注意这里带上global这个是全局的。修改wait_timeout值，命令： set global wait_timeout=86400;检查是否修改成功，继续输入命令show global variables like 'wait_timeout';到这里就修改成功了。

原创 使用scrapy框架爬取前程无忧

**项目要求**利用python编写爬虫程序，从招聘网上爬取数据，将数据存入到MongoDB中，将存入的数据作一定的数据清洗后分析数据，最后做数据可视化。工具软件python 3.7pycharm 2020.1.2具体知识点python基础知识scrapy框架知识点pyecharts 1.5MongoDB爬取字段职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容（岗位职责）、任职要求（技能要求）数据存储将爬取到的数据保存在MongoDB中数据分析与可视化

原创 Spark通用集群计算系统

Apache Spark是一个快速的通用集群计算系统。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。官网文献：http://spark.apache.org/docs/2.0.0/programming-guide.html进入sparkspark-shell读取hdfs文件scala> val textFile = sc.textFile("README.md") 路径/user/root/README.md查看文件.

原创 Java Web实训项目：西蒙购物网2

八）控制层（XXXServlet）在src里创建net.hw.shop.servlet包，在里面创建各种控制处理类。1、登录处理类LoginServletpackage net.wx.shop.Servlet;import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;import...

原创 Java Web实训项目：西蒙购物网1

一.实现步骤创建MySQL数据库simonshop，包含四张表：用户表（t_user）、类别表（t_category）、商品表（t_product）和订单表（t_order）创建数据库表sql代码如下/*Navicat MySQL Data TransferSource Server : hwsqlSource Server Version : 50518...

原创 安装mysql后登陆时出现ERROR 1698 (28000): Access denied for user 'root'@'localhost'的解决方法

mysql安装完成后，登录mysql的时候就出现了如下错误：解决办法：编辑配置文件my.cnf在/etc/my.cnf中【mysqld】下面添加 skip-grant-tables保存退出。重启MySQL服务 service mysql restart在终端上输入mysql -u root -p，遇见输入密码的提示直接回车即可,进入mysql后，分别执行下面三句话：1.use ...

原创 连接MySQL数据库时会出现Authentication plugin 'caching_sha2_password' cannot be loaded的错误

Navicat Premium 12连接MySQL数据库时会出现Authentication plugin ‘caching_sha2_password’ cannot be loaded的错误。连接不上的原因是客户端不支持caching_sha2_password的密码加密方式。解决方法如下管理员权限运行命令提示符，登陆MySQLmysql -u root -ppassword ...

原创 Linux7安装Hadoop3集群（三台虚拟机）

1.vim /etc/hostname修改主机名，重启后修改成功2.添加域名映射3.停用防火墙4.设置三台虚拟机相互免密登录（先找到登录密钥，将密钥分别复制到3台虚拟机），三台虚拟机都要弄一遍5.测试免密登录成功没有6.查看jdk安装情况，（如果没有安装，现将jdk的rpm包传到相应文件夹运用rpm -ivh解压安装，javac查看安装成功没有7.查看jdk安装路径（如...

原创 采用纯JSP实现登录功能

采用纯JSP实现登录功能添加项目对应用服务器库的依赖1、在web目录下创建login.jsp页面2、将login.jsp设置为项目首页文件4、创建登录处理页面do_login.jsp5、创建登录成功页面success.jsp6、创建登录失败页面failure.jsp7、启动服务器，查看运行效果...

原创 在使用idea写jsp时Tomcat出现的问题

问题一：IDEA There is no configured/running web-servers found! Please, run any web-configuration and hit the Refresh button!初次使用使用IDEA搭建web application，习惯性的右键jsp页面在选择浏览器浏览，以为会想webstorm一样自动启动谷歌，结果提示本来以...

原创 Java实训-----学生管理系统（4）

GUI部分（1） 创建应用程序类Application，存放全局数据此时，由于三个窗口界面类还未创建，因此程序会报错。不要运行代码，创建3个窗口界面类，LoginFrame、MainFrame与RegisterFrame。分别为登录窗口，监听器窗口，注册窗口因为程序运行不是从登录窗口跳转过来的，所以登录窗口对象Application.loginFrame是空的。2.窗口声明变量实...

原创 Java实训------学生管理系统（3）

接着上次的讲把剩余的studentdaoimpl实现类方法写进test测试类中，运行代码进行测试，测试teststudentdaoimpl结果如下如上方法将实现类Userdaoimpl写入test测试类testUserdaoimpl中运行的创建service文件夹，创建CllegeService,StatusService,StudentService及UserService接口接口...

原创 Java实训-------学生管理系统（2）

今天补充昨天的代码，完善了数据访问接口实现类的代码，改了一些BUG。创建test包，在test包中创建创建测试类（只完成了前两个，第三个太多还没理顺逻辑）第一个测试类运行正常，成功运行出结果。测试TestStatusDaoImpl运行testFindById()方法，结果如下：运行testUpdate()方法，结果如下：今天就到这里了...

原创 Java实训项目-----学生管理系统

1.创建数据库表t_student、t_user、t_college、t_status。2.创建Java项目，并在项目里创建help，image，lib文件夹，在lib文件夹添加MySQL驱动包作为库添加到项目里（Add as Library…）作为整个项目的库3.在文件夹image中添加图片，在help文件夹中加入chm格式的帮助文档4，创建bean包创建数据库表对应的实体类...

原创 实训任务

原创 打印购物清单

原创 我的第一篇博文-希望各位多多关照

**我的第一篇博文-希望各位多多关照**这是一个自我介绍（姑且是吧！）的脑图。