- 博客(42)
- 收藏
- 关注
原创 大数据实训(爬取前程无忧利用hive、sqoop分析)
一、总体要求利用python编写爬虫程序,从招聘网站上爬取数据,将数据存入到MongoDB数据库中,将存入的数据作一定的数据清洗后做数据分析,最后将分析的结果做数据可视化。二、环境hadoop、hive、sqoop、pycharm三、爬取字段1、具体要求:职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容(岗位职责)、任职要求(技能要求)。(1)新建一个项目:scrapy startproject pawuyijob(2)生成一个spider文件:scrapy genspid
2020-07-14 20:16:03
2811
1
原创 mapreduce.Job: Running job: job_1594598948500_0006
利用sqoop将数据传到MySQL一直卡在这个地方mapreduce.Job: Running job: job_1594598948500_0006解决方法 mapred-site.xml下mapreduce.framework.nameyarn修改为:mapreduce.job.trackerhdfs://192.168.193.129:8001true
2020-07-13 09:51:46
324
原创 Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the
启动hive所报的错:Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the解决办法:在hive/conf/下cp hive-env.sh.template hive-env.sh将hadoop的环境变量添加过去将环境变量记得生效 :source hive-env.sh问题解决...
2020-07-08 11:01:48
1711
1
原创 scrapy爬取前程无忧、应届生 数据+分析
一、总体要求利用python编写爬虫程序,从招聘网站上爬取数据,将数据存入到MongoDB数据库中,将存入的数据作一定的数据清洗后做数据分析,最后将分析的结果做数据可视化。二、环境pycharm、mongodb、python3.6三、爬取字段1、具体要求:职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容(岗位职责)、任职要求(技能要求)。(1)新建一个项目:scrapy startproject pawuyijob(2)生成一个spider文件:scrapy genspid
2020-07-07 11:12:48
1140
1
原创 搭建hbase启动报的错
启动hbase集群:./start-hbase.sh查看状态:status修改错误的方法:退出hbase输入:hadoop dfsadmin -safemode leave
2020-06-19 09:36:57
208
原创 启动hadoop集群所报的错
SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder”.解决办法:是因为缺少jar包,在 /opt/module/hadoop-2.7.4/share/hadoop/common/lib/ 目录下面缺少 slf4j-log4j12-1.7.10.jar上传进去,问题解决
2020-06-18 21:24:11
183
原创 centos7安装spark
1.准备三台机器192.168.193.129 hasoop01192.168.193.130 hadoop02192.168.193.131 hadoop032.下载压缩包:下载地址:https://archive.apache.org/dist/spark/spark-2.4.4/3.解压到/opt/mosule目录下面4.进入到:cd spark-2.4.4-bin-hadoop2.7/conf复制文件: cp spark-env.sh.template spark-env.sh
2020-06-18 16:52:02
177
原创 centos7安装zookeeper集群
一、单台虚拟机1、配置好jdk2.下载zookeeper安装包3.解压zookeeper安装包4.进入 /opt/module/zookeeper-3.4.7/conf 目录,修改配置文件把zoo_sample.cfg改名为zoo.cfgcp zoo_sample.cfg zoo.cfg5.在zookeeper文件目录创建数据文件mkdir datadir[root@hadoop01 zookeeper-3.4.7]# cd datadir[root@hadoop01 datadir]
2020-06-16 16:22:47
278
原创 hadoop安装步骤
Cmd中输入ipconfig查找到ip在虚拟机中配置网络:vi /etc/sysconfig/network-scripts/ifcfg-ens33 记住一定要擅用table键,不要自己去敲容易错vi /etc/resolv.confService network restart 重启网卡看是否能够连接网络ping www.baidu.com ping自己的网关如何查看自己的ip :ip addr连接xshell和xftp6查看防火墙的当前状态:systemctl status f
2020-06-16 14:38:55
115
原创 flume安装和配置
实现步骤:1.安装jdk,1.6版本以上2.上传flume的安装包3.解压安装tar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/module/4.在conf目录下面,创建一个配置文件,比如:template.conf5.配置agent组件#配置Agent a1 的组件a1.sources=r1a1.channels=c1 (可以配置多个,以空格隔开,名字自己定)a1.sinks=s1 (可以配置多个,以空格隔开,名字自己定)#描述
2020-06-16 14:38:01
824
原创 centos07 安装sqoop
sqoop是Apache 提供的工具 用于hdfs和关系型数据库之间数据的导入和导入 可以从hdfs导出数据到关系型数据库,也可以从关系型数据库导入数据到hdfs。1…准备sqoop安装包,官网地址:http://sqoop.apache.org2.配置好了jdk和hadoop的环境变量3.进行解压到相应的目录下面4.需要将要连接的数据库的驱动包加入sqoop的lib目录下(本例中用的是mysql数据库)5.利用指令操作sqoop在sqoop bin目录下面执行sh sqoop list
2020-06-11 17:24:24
136
原创 centos7安装hive时无法删除表的解决办法
1、当我们输入drop table 表名时,会出现以下的错误。2、解决办法:在安装hive的lib目录下mysql的jar包不兼容的问题,如果是mysql5.7版本的使用的jar包最好是5.1.2以上版本的,修改了再重新启动hive删除表就不会报错了mysql jar包:链接:https://pan.baidu.com/s/1t2yEwLqez-K6fgUusvRUnw提取码:bxaa...
2020-06-10 20:54:16
267
原创 学习HTML+CSS
用vscode编辑如何创建html,创建文本方式VS Code,全称Visual Studio Code,来自微软,是一个开源的、基于Electron的轻量代码编辑器。下载地址:https://code.visualstudio.com/docs/?dv=win安装好之后跟着操作步骤一步步激活如何安装插件? 语言包 也可以点击我们右键 view in browser 来浏览我们的网页...
2020-01-08 16:26:33
94
原创 java web 注册页面的信息获取
首先创建一个项目Register这个主要是在页面获取用户注册的信息在web下面register.jsp<%@ page language="java" pageEncoding="UTF-8" %><!DOCTYPE html PUBLIC "-//W3C//Dtd html 4.01 Transitional//EN"><html><he...
2019-12-25 12:45:16
2304
1
原创 JAVA WEB 用户进入企业邮箱,要求登录成功后需要在空间首页显示“欢迎你xxx”的字样;登录失败后,返回到登录界面,重新登录。对邮箱格式要进行表单校验(使用正则表达式完成)
首先新建一个work在web目录里创建用户注册页面register.jsp在web目录里创建登录页面login.jsp在web目录里创建处理注册页面do_register.jsp给用户注册页面添加表单校验,要求用户名与密码非空在web目录里创建js子目录,在里面创建check.js文件在web目录里创建登录处理页面do_login.jsp...
2019-12-25 10:43:47
1469
原创 Java Web 课后作业一(创建一个Web项目LoginDemo)
创建一个Web项目LoginDemo,创建四个页面login.jsp、do_login.jsp、success.jsp和failure.jsp页面,并且将login.jsp设置为项目首页文件代码如下:`<%@ page language=“java” import=“java.util.*” pageEncoding=“UTF-8” %> 用户登录用...
2019-12-22 20:24:31
705
原创 西蒙购物网实训三
首先我们在web里面建立一个images用来存放目录。在web里面创建css子目录,并建立一个main.css`/* 样式 */body {margin: 0px;text-align: center;background: url("…/images/frontBack.jpg") no-repeat;background-size: 100%}table {margi...
2019-12-18 09:19:23
87
原创 西蒙购物网实训二
一、基于上次我们所学的,今天做的是控制层。在src的子目录下建一个子包。二、创建一个LoginServlet登录处理类LoginServletpackage net.zxk.shop.servlet;/** * 功能:登录处理类 * 作者: * 日期:2019年12月9日 */import java.io.IOException;import javax.servlet...
2019-12-11 09:54:03
92
原创 安装虚拟机
大数据学习笔记1.安装虚拟机点右键-新建虚拟机点典型和自定义都可以把它下载在什么地方,就点什么地方这个位置最好换一下,内存较大,还有路径最好不要放在中文的目录下在这里插入图片描述新建一个文件夹BigData,在这个文件夹下面继续新建一个Date文件夹如果电脑内存是8G,最好分配2G,如果是4G最好是1G,如果自己的电脑内存够大可该大一点全部用英语密...
2019-12-05 17:39:33
92
原创 实训西蒙购物
一、创建项目:这个主要采用MVC模式(模型层、视图层、控制层)基于上学期的实训项目,这学期我们根据上个学期所学的。在此包下面建立一个包lib用来放jar包还要记得把这个jar包能够打开As a library我们在src目录下package net.zxk.shop.bean;/** * 功能:用户实体类 * 作者: * 日期:2019年12月2日 */i...
2019-12-05 17:27:25
62
原创 实训第七天(学生信息管理系统)
实训第七天(学生信息管理系统)一、创建一个按性别统计学生人数1、CountStudentsBySexFrame2、先是构造方法、主方法。3、初始化用户界面、创建组件、添加组件、创建学生服务对象、创建表格4、设置窗口的大小、属性5、退出按钮单击事件、打印按钮单击事件6.代码如下:package net.zxk.student.gui;import net.zxk.stu...
2019-06-24 21:43:06
889
原创 Python Django模块for
Python Djangon模块for有这样的一些已知学生信息:List=[{‘num’:’18020211’,’name’:’张三’,’age’:’20’,’class’:’软件技术1班’},{‘num’:’18020212’,’name’:’李四’,’age’:’20’,’class’:’软件技术1班’},{‘num’:’18020213’,’name’:’王五’,’age’:’19...
2019-06-23 19:05:58
99
原创 实训第六天(学生信息管理系统)
实训第六天(学生信息管理系统)一、创建一个类用来编辑学生信息1、EditStudentFrame2.先是构造方法、3.主方法、4.初始化界面、组件、面板、标签、按钮、当前记录行、学生列表、创建学生服务对象、再是创建组件、5.添加组件6、窗口的属性、窗口的大小、窗口屏幕居中、窗口可见、设置默认关闭操作、获取全部学生的列表、7、上一条按钮单击事件、下一条按钮单击事件、![在这里插...
2019-06-22 20:19:38
253
原创 实训第五天(学生信息管理系统)
实训第五天(学生信息管理系统)一.按住alt+insert建立构造方法二、这里报错的原因在前面命名的时候出现错误,并不能调用前面的方法,这里是自己不细心导致出现这样低级的错误。在之后一定会好好 提醒自己哪里报错了。...
2019-06-22 09:21:23
366
原创 实训第四天(学生信息管理系统)
实训第四天(学生信息管理系统)一.1.在net.zxk.student创建一个包 应用(app)2.在该目录下创建一个Application类3.它的功能是应用程序类 ,存放全局数据登录用户标识符、登录用户名、登录用户和密码、登录窗口、主窗口、注册窗口。运行代码:package net.zxk.student.app;import net.zxk.student.gui.Log...
2019-06-20 22:46:14
609
原创 实训第三天(学生信息管理系统)
实训第三天(学生信息管理系统)1.创建一个实体类UserDaoImpl代码如下:package net.zxk.student.dao.impl;import net.zxk.student.bean.User;import net.zxk.student.dao.UserDao;import net.zxk.student.dbutil.ConnectionManager;imp...
2019-06-20 22:45:56
204
原创 实训第二天(学生信息管理系统)
实训第二天(学生信息管理系统)1.创建一个测试类TestStatusDaoImpl2.代码如下package net.zxk.student.test;import net.zxk.student.bean.Status;import net.zxk.student.dao.StatusDao;import net.zxk.student.dao.impl.StatusDaoImpl...
2019-06-18 21:40:13
331
原创 实训第一天(学生信息管理系统)
实训第一天(学生信息管理系统)一、功能需求1、可设置学校信息2、可设置状态栏信息3、登录与注册功能4、登录用户修改密码功能5、对学生记录增加和修改6、查询:按学号、姓名、班级和系部进行查询7、删除:按学号、班级、系部删除记录8、统计:按性别、班级、系部统计人数二、功能结构图一、新建一个project(学生信息管理系统)二、二、在images中添加几张照片1....
2019-06-18 10:30:56
384
原创 十二周总结
十二周总结一、IO基本概念Java对于数据的输入输出抽象出了一个重要概念——流(Stream)。1、数据的输出数据从程序到文件,叫做输出,引入流的概念,那就叫输出流,这个流是以字节为单位,叫做字节输出流(OutputStream)。如果是针对文本文件来进行操作,一般是以字符为单位,叫做字符输出。2、数据的输入数据从文件到程序,叫做输入,引入流的概念,那就叫输入流,这个流是以字节为单位,...
2019-05-22 17:24:49
65
原创 第十一周总结
第十一周总结1、抽象类在讲接口之前,我们得看看抽象类。如果一个类包含了没有实现的方法(抽象方法),那么这个类不能实例化,只能通过继承,在子类中实现其抽象方法,然后就可以实例化子类。2、接口对于抽象类,我们把革命进行到底,如果一个类的全部方法都是抽象的,那么我们给它一个新的名称:接口。接口不能包含普通方法,只能包含抽象方法。接口其实是定义了一种标准或规范,既然如此,接口里不能包含一般的属性,...
2019-05-15 18:05:42
73
原创 第十周总结
第十周总结在上周的学习基础上本周学习了重载、继承、构造。构造方法(一)作用构造方法(constructor)是在利用类这个模板创建对象时自动调用的,用于初始化对象的属性。(二)特点1、构造方法名字与类名相同2、构造方法没有任何返回值3、构造方法必须是public的(如果构造方法私有化,那么就不能用new来实例化对象,必须通过其它方式来得到实例)(三)分类1、无参构造方法2、有...
2019-04-28 20:13:02
112
原创 第九周总结
第九周总结Java面向对象编程——封装面向对象三大特性:封装、继承和多态一、类的封装一个类里,可以封装数据(静态 - static)和操作(动态 - dynamic),分别称为类的数据成员(data member)和方法成员(method member)。要对学生进行管理,我们就要创建一个学生类,包含两个属性:姓名和人品,另外还包含一个自我介绍的方法。注意:要求学生的人品值在[1, 10...
2019-04-28 19:58:47
198
原创 第八周总结
第八周总结这周主要是预习面向对象。面向对象是一种符合人类思维习惯的编程思想。面向对象的特点可以概括为封装、继承和多态,接下来针对这3种特性进行简单的介绍。1、封装2、继承3、多态Java中的类与对象类与对象的关系,人可以看做是一个类,将每个具体的人看做对象,从人与具体个人的关系可以看出类与对象之间的关系。类用于描述多个对象的共同特征,它是对象的模板。类的定义在面向对象中,最核心的...
2019-04-22 17:28:56
107
原创 第七周总结
第七周总结这节课学习了数组,它的功能是更方便的处理批量数据。基本概念:一组相同的数据,给他们取一个共同的名字,然而通过下标去访问每一个元素。一般而言,数组往往会结合循环结构来进行相应的处理。使用数组的步骤1、声明数组2、分配空间3、给数组元素赋值4、利用数组元素参与运算。接下来统计10个学生的平均分,然后求10个学生的最高分,并确定是谁得了最高分。数组排序,方法很多。我们可以直接利用Ar...
2019-04-22 16:33:00
77
原创 本周总结(6)
本周总结(6)学习了控制流程结构中的嵌套式开关式。总结:开关式多分支结构,优点是书写简洁,并且效率高,但缺点是只能针对了离散型的情况进行处理。我们在编写程序解决问题时,尽量开拓我们的思维,做到一题多解,正所谓条条道路通罗马,既然是一题多解,那就存在评判不同的解决方法的问题,要学会了解不同的解决方法的优劣,其实,做任何选择都存在一个策略性的考虑。通过python猜拳游戏引入了循环结构。学习了whi...
2019-04-10 23:48:19
113
原创 本周总结(5)
本周总结(5)Times are advancing and science and technology are developing.In the era of information explosion, how can we stop before, once stop will be eliminated by the era.Give yourself a goal and a ce...
2019-04-03 19:29:01
153
原创 本周总结(4)
本周总结(4)在上周Java学习中学了Java的基本语法、变量与常量、运算符、if 条件语句。其中基本语法包括语法格式、注释、关键字、标识符,变量与常量(定义、数据类型、变量类型的转换)Java的预习包括{switch条件语句…while循环语句do…while循环语句for循环语句循环嵌套(打印九九乘法表)跳转语句(break语句,continue语句在这里插入图片描述)}在这...
2019-03-25 12:51:44
91
原创 本周总结3
本周总结(3)Youth without struggle is not perfect.不奋斗的青春是不完美的。God is fair ,and time spent is rewarded,Unearned people,they feel unreal.Though the ages,so many talented people and scholars ,though their ...
2019-03-20 18:41:23
171
原创 本周总结(2)
本周总结(2)时间总是让人猝不及防。天气也越来越暖和,每个人都朝着自己的目标继续努力。同样春季也非常容易睡觉,也非常适合敲代码。缺点:意志力不够坚定,没有足够的恒心。进步:每天都在记单词,按照自己的目标一点点的前进,让自己变得更优秀问题:python闭包不会使用解决:在网上寻找视频,多看多敲最后在不懂可以问老师。最主要看自己敲代码,只有敲了才会发现问题,并及时解决。...
2019-03-13 00:01:04
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人