![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
90geek
黎明前最黑暗,胜利前最绝望,成功前最渺茫,所以在感觉到吃力的时候成功即将到来!
展开
-
java环境部署
安装方法方法1. tar包方式从 下载页面 下载安装文件,请确认所使用的版本(32位、64位)。解压缩(放在/opt目录下为例)$ sudo tar zxf DOWNLOADED-JDK.tar.gz -C /opt验证java版本$ /opt/j2sdk-image/bin/java -versionopenjdk version "1.8.0_60"OpenJDK Runtime Environment (Loongson 8-loongson3a-Loongnix)原创 2021-12-26 10:25:59 · 1669 阅读 · 0 评论 -
maven命令总结
Maven库:http://repo2.maven.org/maven2/Maven依赖查询:http://mvnrepository.com/说明一般使用情况是这样,首先通过cvs或svn下载代码到本机,然后执行mvn eclipse:eclipse生成ecllipse项目文件,然后导入到eclipse就行了;修改代码后执行mvn compile或mvn test检验,也可以下载eclipse的maven插件。常用命令创建Maven的普通java项目:mvn archetype:cr原创 2021-12-26 10:24:06 · 140 阅读 · 0 评论 -
龙芯-大数据平台搭建(ambari+hdp)
准备主节点:master(10.40.25.190)从节点:slave1(10.40.25.191),slave2(10.40.25.192)注意事项:确保所有节点时间同步;确保所有节点能互相通信以及能访问外网检查DNS和NSCD所有节点都要设置ambari在安装时需要配置全域名,所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)vi /etc/hosts10.40.25.190 master.com master原创 2021-12-26 10:17:33 · 3409 阅读 · 0 评论 -
大数据各组件概述
大数据概要流程图解析1)数据采集:定制开发采集程序,或使用开源框架FLUME2)数据预处理:定制开发mapreduce程序运行于hadoop集群3)数据仓库技术:基于hadoop之上的Hive4)数据导出:基于hadoop的sqoop数据导入导出工具5)数据可视化:定制开发web程序或使用kettle等产品6)整个过程的流程调度:hadoop生态圈中的oozie工具或其他类似开源产品什么是RPCRPC(Remote Procedure Call Protocol)——远程过程调用协议,它原创 2021-12-26 09:54:29 · 3401 阅读 · 0 评论 -
storm测试
## 流计算测试(storm)配置 kafka格式化磁盘(安装 kafka 节点的服务器)挂载一块磁盘将其格式化为ext4格式mkfs.ext4 /dev/nvme0n1分别挂载磁盘到安装 kafka 节点的服务器有几个盘创建几个文件夹mkdir -p t0 t1 t2 t3挂载mount /dev/nvme0n1 /mnt/t0mount /dev/nvme1n1 /mnt/t1mount /dev/nvme2n1 /mnt/t2mount /dev/nvme3n1 /m原创 2021-12-26 09:48:20 · 1001 阅读 · 0 评论 -
Hadoop编译
硬件环境环境:同方龙芯两路服务器,操作系统 64 位 loongnix下载重新编译需要的软件包前期准备部署JAVA环境loongnix默认已经安装[root@localhost hadoop-2.6.4-src]# java -versionopenjdk version "1.8.0_202"OpenJDK Runtime Environment (Loongson 8.1.2-loongson3a-Fedora) (build 1.8.0_202-b08原创 2021-12-26 09:46:41 · 1103 阅读 · 0 评论