- 博客(42)
- 收藏
- 关注
RSS订阅原创 大数据实训（爬取前程无忧利用hive、sqoop分析）
一、总体要求利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化。二、环境hadoop、hive、sqoop、pycharm三、爬取字段1、具体要求：职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容（岗位职责）、任职要求（技能要求）。（1）新建一个项目：scrapy startproject pawuyijob(2)生成一个spider文件：scrapy genspid
2020-07-14 20:16:03
2811
1
原创 mapreduce.Job: Running job: job_1594598948500_0006
利用sqoop将数据传到MySQL一直卡在这个地方mapreduce.Job: Running job: job_1594598948500_0006解决方法 mapred-site.xml下mapreduce.framework.nameyarn修改为：mapreduce.job.trackerhdfs://192.168.193.129:8001true
2020-07-13 09:51:46
324
原创 Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the
启动hive所报的错：Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the解决办法：在hive/conf/下cp hive-env.sh.template hive-env.sh将hadoop的环境变量添加过去将环境变量记得生效 ：source hive-env.sh问题解决...
2020-07-08 11:01:48
1711
1
原创 scrapy爬取前程无忧、应届生 数据+分析
一、总体要求利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化。二、环境pycharm、mongodb、python3.6三、爬取字段1、具体要求：职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容（岗位职责）、任职要求（技能要求）。（1）新建一个项目：scrapy startproject pawuyijob(2)生成一个spider文件：scrapy genspid
2020-07-07 11:12:48
1140
1
原创 搭建hbase启动报的错
启动hbase集群：./start-hbase.sh查看状态：status修改错误的方法：退出hbase输入：hadoop dfsadmin -safemode leave
2020-06-19 09:36:57
208
原创 启动hadoop集群所报的错
SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder”.解决办法：是因为缺少jar包，在 /opt/module/hadoop-2.7.4/share/hadoop/common/lib/ 目录下面缺少 slf4j-log4j12-1.7.10.jar上传进去，问题解决
2020-06-18 21:24:11
183
原创 centos7安装spark
1.准备三台机器192.168.193.129 hasoop01192.168.193.130 hadoop02192.168.193.131 hadoop032.下载压缩包：下载地址：https://archive.apache.org/dist/spark/spark-2.4.4/3.解压到/opt/mosule目录下面4.进入到：cd spark-2.4.4-bin-hadoop2.7/conf复制文件: cp spark-env.sh.template spark-env.sh
2020-06-18 16:52:02
177
原创 centos7安装zookeeper集群
一、单台虚拟机1、配置好jdk2.下载zookeeper安装包3.解压zookeeper安装包4.进入 /opt/module/zookeeper-3.4.7/conf 目录，修改配置文件把zoo_sample.cfg改名为zoo.cfgcp zoo_sample.cfg zoo.cfg5.在zookeeper文件目录创建数据文件mkdir datadir[root@hadoop01 zookeeper-3.4.7]# cd datadir[root@hadoop01 datadir]
2020-06-16 16:22:47
278
原创 hadoop安装步骤
Cmd中输入ipconfig查找到ip在虚拟机中配置网络：vi /etc/sysconfig/network-scripts/ifcfg-ens33 记住一定要擅用table键，不要自己去敲容易错vi /etc/resolv.confService network restart 重启网卡看是否能够连接网络ping www.baidu.com ping自己的网关如何查看自己的ip :ip addr连接xshell和xftp6查看防火墙的当前状态：systemctl status f
2020-06-16 14:38:55
115
原创 flume安装和配置
实现步骤：1.安装jdk,1.6版本以上2.上传flume的安装包3.解压安装tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/module/4.在conf目录下面，创建一个配置文件，比如:template.conf5.配置agent组件#配置Agent a1 的组件a1.sources=r1a1.channels=c1 (可以配置多个，以空格隔开，名字自己定）a1.sinks=s1 (可以配置多个，以空格隔开，名字自己定）#描述
2020-06-16 14:38:01
824
原创 centos07 安装sqoop
sqoop是Apache 提供的工具 用于hdfs和关系型数据库之间数据的导入和导入 可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs。1…准备sqoop安装包，官网地址：http://sqoop.apache.org2.配置好了jdk和hadoop的环境变量3.进行解压到相应的目录下面4.需要将要连接的数据库的驱动包加入sqoop的lib目录下（本例中用的是mysql数据库）5.利用指令操作sqoop在sqoop bin目录下面执行sh sqoop list
2020-06-11 17:24:24
136
原创 centos7安装hive时无法删除表的解决办法
1、当我们输入drop table 表名时，会出现以下的错误。2、解决办法：在安装hive的lib目录下mysql的jar包不兼容的问题，如果是mysql5.7版本的使用的jar包最好是5.1.2以上版本的，修改了再重新启动hive删除表就不会报错了mysql jar包：链接：https://pan.baidu.com/s/1t2yEwLqez-K6fgUusvRUnw提取码：bxaa...
2020-06-10 20:54:16
267
原创 学习HTML+CSS
用vscode编辑如何创建html,创建文本方式VS Code,全称Visual Studio Code,来自微软，是一个开源的、基于Electron的轻量代码编辑器。下载地址：https://code.visualstudio.com/docs/?dv=win安装好之后跟着操作步骤一步步激活如何安装插件？ 语言包 也可以点击我们右键 view in browser 来浏览我们的网页...
2020-01-08 16:26:33
94
原创 java web 注册页面的信息获取
首先创建一个项目Register这个主要是在页面获取用户注册的信息在web下面register.jsp<%@ page language="java" pageEncoding="UTF-8" %><!DOCTYPE html PUBLIC "-//W3C//Dtd html 4.01 Transitional//EN"><html><he...
2019-12-25 12:45:16
2304
1
原创 JAVA WEB 用户进入企业邮箱，要求登录成功后需要在空间首页显示“欢迎你xxx”的字样；登录失败后，返回到登录界面，重新登录。对邮箱格式要进行表单校验（使用正则表达式完成）
首先新建一个work在web目录里创建用户注册页面register.jsp在web目录里创建登录页面login.jsp在web目录里创建处理注册页面do_register.jsp给用户注册页面添加表单校验，要求用户名与密码非空在web目录里创建js子目录，在里面创建check.js文件在web目录里创建登录处理页面do_login.jsp...
2019-12-25 10:43:47
1469
原创 Java Web 课后作业一（创建一个Web项目LoginDemo）
创建一个Web项目LoginDemo，创建四个页面login.jsp、do_login.jsp、success.jsp和failure.jsp页面，并且将login.jsp设置为项目首页文件代码如下：`<%@ page language=“java” import=“java.util.*” pageEncoding=“UTF-8” %> 用户登录用...
2019-12-22 20:24:31
705
原创 西蒙购物网实训三
首先我们在web里面建立一个images用来存放目录。在web里面创建css子目录，并建立一个main.css`/* 样式 */body {margin: 0px;text-align: center;background: url("…/images/frontBack.jpg") no-repeat;background-size: 100%}table {margi...
2019-12-18 09:19:23
87
原创 西蒙购物网实训二
一、基于上次我们所学的，今天做的是控制层。在src的子目录下建一个子包。二、创建一个LoginServlet登录处理类LoginServletpackage net.zxk.shop.servlet;/** * 功能：登录处理类 * 作者： * 日期：2019年12月9日 */import java.io.IOException;import javax.servlet...
2019-12-11 09:54:03
92
原创 安装虚拟机
大数据学习笔记1.安装虚拟机点右键-新建虚拟机点典型和自定义都可以把它下载在什么地方，就点什么地方这个位置最好换一下，内存较大，还有路径最好不要放在中文的目录下在这里插入图片描述新建一个文件夹BigData,在这个文件夹下面继续新建一个Date文件夹如果电脑内存是8G，最好分配2G，如果是4G最好是1G，如果自己的电脑内存够大可该大一点全部用英语密...
2019-12-05 17:39:33
92
原创 实训西蒙购物
一、创建项目：这个主要采用MVC模式（模型层、视图层、控制层）基于上学期的实训项目，这学期我们根据上个学期所学的。在此包下面建立一个包lib用来放jar包还要记得把这个jar包能够打开As a library我们在src目录下package net.zxk.shop.bean;/** * 功能：用户实体类 * 作者： * 日期：2019年12月2日 */i...
2019-12-05 17:27:25
62
原创 实训第七天（学生信息管理系统）
实训第七天（学生信息管理系统）一、创建一个按性别统计学生人数1、CountStudentsBySexFrame2、先是构造方法、主方法。3、初始化用户界面、创建组件、添加组件、创建学生服务对象、创建表格4、设置窗口的大小、属性5、退出按钮单击事件、打印按钮单击事件6.代码如下：package net.zxk.student.gui;import net.zxk.stu...
2019-06-24 21:43:06
889
原创 Python Django模块for
Python Djangon模块for有这样的一些已知学生信息：List=[{‘num’:’18020211’,’name’:’张三’,’age’:’20’,’class’:’软件技术1班’},{‘num’:’18020212’,’name’:’李四’,’age’:’20’,’class’:’软件技术1班’},{‘num’:’18020213’,’name’:’王五’,’age’:’19...
2019-06-23 19:05:58
99
原创 实训第六天（学生信息管理系统）
实训第六天（学生信息管理系统）一、创建一个类用来编辑学生信息1、EditStudentFrame2.先是构造方法、3.主方法、4.初始化界面、组件、面板、标签、按钮、当前记录行、学生列表、创建学生服务对象、再是创建组件、5.添加组件6、窗口的属性、窗口的大小、窗口屏幕居中、窗口可见、设置默认关闭操作、获取全部学生的列表、7、上一条按钮单击事件、下一条按钮单击事件、
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人