- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hadoop大数据技术
学生独立完成项目“某公司工资数据分析”和“学生成绩数据分析”，项目包括两个内容：1，熟练掌握HDFS（上传文件，下载文件等），MapReduce的功能和原理。3.基于HBase和HDFS，利用Idea编程实现部门数据分析和学生成绩任务：①计算每个学生的平均成绩；第1列是员工代码，第2列是员工姓名，第3列是员工所属部门，第4列是该员工上司的代码，第5列是员工进入公司的时间，第6列是员工工资，第7列奖金，第8列是部门代码。第1列学号，第2列学生姓名，第3列语文成绩，第4列数学成绩，第5列英语成绩。
2023-11-27 11:11:54
74
1
原创 HBase与Hadoop综合
1.鼠标双击桌面“IDEA”图标，如果是第一次使用，会弹出“Welcome IntelliJ IDEA”窗 口，选择“Create New Project”选项，开始建立新项目，如图所示。3.将本地目录/root/experiment/datas/hbase/file1.txt文件上传到HDFS的/root/experiment/datas目录下。2.弹出“New Project”窗口，选择要建立的项目类型“Maven”，点击下一步“Next”按 钮。4.点击“Finish”按钮，完成项目的初始建立。
2023-11-14 11:52:37
73
1
原创 csdddd
1.解压及配置1.1 桌面上找到Konsole图标，单击打开，如下图1.2 找到切换到/root/experiment/file目录1.3 解压hbase-1.2.6-bin.tar.gz到/opt目录下1.4 切换到/opt目录下，把hbase-1.2.6改名为hbase，1.5 编辑/opt/hbase/conf/hbase-site.xml配置文件命令行输入vim/opt/hbase/conf/hbase-site.xml。
2023-10-30 14:49:36
75
1
原创 WordCount编程
1)启动Hadoop平台1.启动Hadoop平台。具体的启动方法：鼠标双击桌面上的“Konsole”图标，打开终端，在终端命令窗口中输入Hadoop启动命令。由于配置不同，start-all.sh命令后显示的界面与下面可能有出入，也不要紧，只要保证第2步的jps后，守护进程对就可以。
2023-10-09 15:06:54
154
1
原创 JAVA API
也可以在配置好pom.xml文件内容后，选中项目名“project”,点击鼠标右键，选择“Maven”下的“ReImport”项目，开始Maven项目依赖包的导入。在弹出“New Project”窗口中，在GroupId对应文本框中输入“HDFSDemo”，在ArtifactId对应文本框中输入“project”，然后按“Next”按钮。点击“Finish”按钮，完成项目的初始建立。弹出新项目“New Project”窗口，选择要建立的项目类型“Maven”，点击下一步“Next”按钮。
2023-09-25 11:06:25
45
1
原创 2345电影爬取
print('影片名：{}\t{}\n{}\n{}\n\n'.format(name,time,actor,intro))time = '暂时无上映时间信息'actor = '暂时无演员姓名'
2023-09-14 15:18:24
50
1
原创 采集小黄人图片
print('本次爬取共获取图片'+str(len(ma))+'张')print('正在爬取'+imgurl)print('爬取完毕！
2023-09-14 15:06:26
46
1
原创 我的记录。
使用ssh-keygen –t rsa命令生成密钥对（命令行提示可以一直enter下一步）8.配置hadoop环境变量—mapred-site.xml。6.配置hadoop环境变量—core-site.xml。7.配置hadoop环境变量—hdfs-site.xml。使用如下命令打开mapred-site.xml配置文件。使用如下命令打开hdfs-site.xml配置文件。在配置文件中，按照如下内容进行配置。在配置文件中，按照如下内容进行配置。在配置文件中，按照如下内容进行配置。切换到~/.ssh目录下。
2023-09-11 11:38:12
46
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人