![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 53
ア灬格子衬衫々
这个作者很懒,什么都没留下…
展开
-
大数据与云计算的理解与基本认识
文章目录大数据现象是怎么形成的?大数据的出现与发展为我们生活带来了什么?大数据数据存储手段?大数据分析在商业上的应用?大数据现象是怎么形成的?(1)现有的计算能力、存储空间、网络带宽的高速发展,人类积累的数据在互联网、通信、金融、商业、医疗等诸多领域不断地增长和累积。(2)大数据的成因源于信息技术的发展,技术及互联网的发展,推动着大数据时代的来临,各行各业每天都在产生数量巨大的数据碎片体会看法:各种数据政治迅速膨胀并变大,它决定着企业的未来发展,随着时间的推移,人们会越来越多地意识到数据对企业的重原创 2021-03-06 15:46:07 · 4497 阅读 · 0 评论 -
Scala学习(基础篇)待更新
文章目录引言大数据介绍大数据与云计算区别大数据和人工智能的区别大数据和传统的分析(excel)的区别scala的特性面向对象特性引言大数据介绍主要工作:数据统计分析(hadoop工程师、spark工程师、flink工程师、数仓工程师、BI工程师、ETL工程师 、大数据平台工程师)大数据与云计算区别大数据可以做数据分析统计,而云计算可以为大数据提供一套资源利用的平台,因此大数据很多时候基于云计算。大数据和人工智能的区别首先人工智能基于大数据,大数据为人工智能提供重要的海量数据大数据和传统的原创 2020-11-20 20:46:00 · 1500 阅读 · 0 评论 -
MapReduce综合学习(含Word Count案例)
文章目录MapReduce简介MapReduce适用的问题MapReduce的特点MapReduce简介MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。在分布式计算中,MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题,把处原创 2020-11-05 17:46:51 · 2254 阅读 · 1 评论 -
RuntimeException:java.lang.ClassNotFoundException: Class wordcount.WordCountMapper not fonud
在hadoop上运行Mapreduce项目jar包报错:Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordcount.WordCountMapper not found at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2638) at org.apache.hadoop.mapreduce.task.JobC原创 2020-11-03 22:37:49 · 971 阅读 · 0 评论 -
Java操作HBase数据库
rowkey查询//根据rowKey进行查询 public static User getDataByRowKey(String tableName, String rowKey,String password) throws IOException { Admin admin = connection.getAdmin(); Table table = connection.getTable(TableName.valueOf(tableName));原创 2020-10-21 18:09:16 · 172 阅读 · 0 评论 -
Hadoop退出安全模式Name node is in safe mode
解决方案:hadoop dfsadmin -safemode leave或者:hdfs dfsadmin -safemode leave原创 2020-10-10 10:49:26 · 567 阅读 · 0 评论 -
HDFS上传文件命令报错org.apache.hadoop.ipc.RemoteException(java.io.IOException)
Hadoop 3.1 hdfs dfs -put /源文件路径 /目的文件路径解决方案第一步:停止主节点(Master)和子节点服务(Slave)stop-all.sh第二步:通过cd /usr/local/hadoop 进入hadoop目录第三步:分布删除主节点和子节点hadoop文件夹下的 logs 和 tmp 文件夹rm -r logs rm -r tmp第四步:删除完成之后,进行格式化hadoop hdfs namenode -format第五步:重启主节点和子节原创 2020-10-09 21:43:50 · 570 阅读 · 0 评论 -
HDFS Java连接hadoop
文章目录建立连接获取hadoop下的文件信息编写hadoop连接工具类建立连接获取hadoop下的文件信息import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.原创 2020-10-09 20:38:43 · 218 阅读 · 0 评论 -
Hadoop搭建集群中输入hdfs namenode -format格式化节点时,提示:hdfs: command not found 解决办法
分析原因:hadoop的安装路径没有加入到当前路径中解决办法:方法1:进入hadoop的安装目录,在执行hadoop命令时在前面加上:./bin ./sbin方法2:进入/etc/profile文件中添加hadoop的安装路径sudo vim /etc/profile添加:export HADOOP_HOME=本机的hadoop安装路径export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH例如:保存后退出后sourc原创 2020-09-24 17:51:06 · 8567 阅读 · 4 评论