![](https://img-blog.csdnimg.cn/20210803222716527.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据运用
文章平均质量分 74
基于Ubuntu下,大数据工具以及框架的构建
侬本多情。
数据科学与大数据技术专业在读生,请大家多指教。
展开
-
hbase api中常用的方法总结
例如,同时向“Math”、“Computer Science”、 “English”三列添加成绩时,字符串数组 fields 为{“Score:Math”, ”Score:Computer Science”, ”Score:English”},数组values 存储这三门课的成绩。创建表,参数 tableName 为表的名称,字符串数组 fields 为存储记录各个字段名称的数组。要求当 HBase已经存在名为 tableName 的表的时候,先删除原有的表,然后再创建新的表。原创 2022-01-18 11:31:23 · 96 阅读 · 0 评论 -
对于hbase api的测试过程
运行之前必须先开启hadoop集群,zookeeper以及hbase,否则无法运行。主要文件为HbaseDemo。本文只针对hbase api方法的综合测试。原创 2022-01-18 11:23:58 · 46 阅读 · 0 评论 -
spark编程应用
文章目录搭建Scala-IDE环境单词计数编程使用Scala语言实现Java语言实现搭建python环境实现k-means聚类算法搭建Scala-IDE环境1、下载安装开发包由于当前有个eclipse-ide,所以Scala-ide要改个名,不然冲突hadoop@ddai-desktop:~$ sudo tar xvzf /home/hadoop/scala-SDK-4.7.0-vfinal-2.12-linux.gtk.x86_64.tar.gz hadoop@ddai-desktop:~$原创 2021-08-17 17:25:21 · 232 阅读 · 0 评论 -
spark数据分析
spark案例1、sparkpihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ vim SparkPihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ run-example SparkPi 10 > SparkPi.txtobject SparkPi { def main(args: Array[String]) { val spark = SparkSession原创 2021-08-15 14:52:49 · 933 阅读 · 0 评论 -
spark部署
文章目录主节点安装软件(1)下载Scala和Spark软件包并解压设置Spark参数(1)修改spark-env.sh文件(2)修改slaves文件(3)修改环境变量并生效Slave节点安装软件(1)登录从节点1节点安装软件(2)登录从节点2节点安装软件(3)修改从节点1节点和从节点2节点环境变量并生效测试Spark(1)登录各集群节点启动Zookeeper服务并查看服务状态(2)在主节点上启动Hadoop服务(3)在主节点上启动Spark服务(4)查看各集群节点进程(5)打开浏览器输入“http://ma原创 2021-08-15 11:47:29 · 243 阅读 · 0 评论 -
MySQL与Hive/HBase数据转移
文章目录MySQL与Hive之间数据转移1、MySQL的dept表导入Hivebug 1bug 22、查看Hive表数据3、清空MySQL的dept表4、Hive表数据导出到MySQL5、查询dept表MySQL与HBase之间数据转移1、创建HBase表2、MySQL的dept表导入Hbasebug33、查看HBase的dept记录MySQL与Hive之间数据转移1、MySQL的dept表导入Hivebug 1这里有个警告,可以不用理他,如果要消除,修改sqoop安装目录bin文件夹下的confi原创 2021-08-14 23:40:08 · 853 阅读 · 0 评论 -
mysql与hdfs的数据迁移(sqoop)
文章目录1、查看mysql数据2、查看mysql表3、mysql表导入到hdfs4、查看hdfs5、清空dept表6、数据从hdfs导出到MySQL表7、查询dept表8、Sqoop Import 增量导入到 HDFS打开一个 dektop 终端,不要打开多个终端,所用数据看上一篇1、查看mysql数据hadoop@ddai-desktop:~$ sqoop list-databases --connect jdbc:mysql://ddai-master:3306/ --username sqoo原创 2021-08-14 17:56:48 · 520 阅读 · 0 评论 -
sqoop与mysql-client的部署
文章目录客户端安装sqoop1、上传下载的 sqoop 软件并解压2、解压sqoop压缩包并修改属性3、修改sqoop配置参数4、修改环境变量并生效5、上传 mysql-connector-java-5.1.48.jar安装mysql-client软件包1、客户端安装mysql-client软件2、在主节点上对mysql用户授权3、客户端上创建数据客户端安装sqoop1、上传下载的 sqoop 软件并解压hadoop@ddai-desktop:~$ cd /opt/hadoop@ddai-desk原创 2021-08-14 16:03:37 · 147 阅读 · 0 评论 -
pig编程应用
查询气温(1)气温数据文件temperature.txt的内容hadoop@ddai-desktop:~$ vim temperature.txthadoop@ddai-desktop:~$ more temperature.txt 1990 211990 181991 211992 301992 9991990 23(2)查找每年最高气温grunt> copyFromLocal temperature.txt /testgrunt> records =原创 2021-08-14 00:38:23 · 238 阅读 · 0 评论 -
pig安装应用
pig安装1、客户端主机安装软件并解压hadoop@ddai-desktop:~$ cd /opt/hadoop@ddai-desktop:/opt$ sudo tar xvzf /home/hadoop/pig-0.17.0.tar.gz hadoop@ddai-desktop:/opt$ sudo chown -R hadoop:hadoop pig-0.17.0/2、修改参数hadoop@ddai-desktop:~$ cd /opt/pig-0.17.0/hadoop@ddai-d原创 2021-08-13 17:50:24 · 187 阅读 · 0 评论 -
hive与hbase集成案例
1、创建外部表hive> create external table hive_score ( key string, name map<string,string>, class string, java string, python string ) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproper原创 2021-08-12 16:04:26 · 191 阅读 · 0 评论 -
hive编程小案例
1、删除表程序编写删除表程序hadoop@ddai-desktop:~$ vim drop_test_external.javaimport java.sql.SQLException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Statement;public class drop_test_external{ private static String driverName = "原创 2021-08-12 15:10:39 · 186 阅读 · 1 评论 -
HIVE CLI数据库实操
1、建立基本数据hadoop@ddai-desktop:~$ sudo vim /score.txt#一个tab键分割字符610213 Tom 85 79610215 John 80 85610222 Marry 75 872、创建score表hive> CREATE TABLE score ( > sno int, name String, > java decima原创 2021-08-12 14:37:21 · 142 阅读 · 0 评论 -
hive数据仓库搭建
mysql安装1、主节点安装mysqlhadoop@ddai-master:~$ sudo apt updatehadoop@ddai-master:~$ sudo apt install mysql-client mysql-server2、设置mysql参数hadoop@ddai-master:~$ sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf 修改参数如下:bind-address = 127.0.0.1 改为 0.0.0.0添加内容如下原创 2021-08-12 11:20:54 · 1024 阅读 · 0 评论 -
hbase的部署应用
hbase安装1、上传hbase安装包并解压hadoop@ddai-master:~$ tar xzvf /home/hadoop/hbase-2.2.6-bin.tar.gz -C /opt/2、修改配置文件(4个)hbase-env.shhadoop@ddai-master:~$ vim /opt/hbase-2.2.6/conf/hbase-env.sh #添加 export JAVA_HOME=/opt/jdk1.8.0_221 export HBASE_MANAGES_ZK=原创 2021-08-11 10:33:11 · 202 阅读 · 0 评论 -
Ubuntu中实现mapreduce编程
注意:在写本文前,已经完成了三台机的Hadoop集群,desktop机已经配好了网络、yum源、关闭了防火墙等操作,详细请看本专栏第一、二篇部署eclipse1、创建hadoop用户root@ddai-desktop:~# groupadd -g 285 hadooproot@ddai-desktop:~# useradd -u 285 -g 285 -m -s /bin/bash hadooproot@ddai-desktop:~# passwd hadoopNew password: Re原创 2021-08-10 15:28:44 · 2176 阅读 · 0 评论 -
Ubuntu中实现Hadoop集群
文章目录hadoop集群java安装1、上传jdk安装包,并解压2、所有节点编辑环境变量3、使jdk环境变量生效4、复制到从节点5、测试hadoop安装1、上传hadoop安装包2、所有节点编辑hadoop环境变量3、使所有节点hadoop环境变量生效4、编辑hadoop配置文件(5个)5、复制到从节点hadoop启动测试1、格式化namenode2、启动hadoop3、启动jobhistoryserver4、查看各节点进程5、查看对应网址(两个)hadoop集群准备工作:具体查看同专栏初入Ubun原创 2021-08-05 22:55:33 · 405 阅读 · 0 评论 -
初入Ubuntu常见问题以及集群前的必要配置(2)
文章目录NTP时间同步主节点1、安装NTP软件2、配置NTP3、启动NTP服务从节点(slave1 和 slave2)1、安装NTP软件(同主节点)2、配置NTP3、启动NTP服务4、测试查看时间修改时区,改为中国北京(主节点和从节点都要进行)SSH免密证书登录1、各集群节点创 建用户hadoop,UID、GID设为一样2、添加用户hadoop到用户组sudo3、设置用户hadoop密码4、生成私钥和公钥对5、复制公钥到个集群节点6、SSH证书登录测试NTP时间同步主节点1、安装NTP软件root@原创 2021-08-05 14:08:40 · 159 阅读 · 0 评论 -
初入Ubuntu常见问题以及集群前的必要配置(1)
具体详细过程请看以下博客:server安装desktop安装https://developer.aliyun.com/mirror/一开始进来Ubuntu不是root用户登录的,若想进去执行以下命令sudo su - rootServer机配置1、配置网络ip a #查看当前网络cd /etc/netplan #进入目录编辑指定文件vim 00-installer-config.yaml再次查看网络检验是否可以ping通内外网ping 172.25.0.10pin..原创 2021-08-05 01:56:21 · 298 阅读 · 0 评论