大数据
文章平均质量分 93
wr456wr
有任何疑问可以私信,偶尔看看,还有vip文章真不是我设置的,没那脸皮,sbcsdn
展开
-
使用Java连接Hadoop进行编程
测试Java远程连接hadoop编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream",要求如下:①实现按行读取HDFS中指定文件的方法”readLine()“,如果读到文件末尾,则返回为空,否则返回文件一行的文本②实现缓存功能,即利用”MyFSDataInputStream“读取若干字节数据时,首先查找缓存,如果缓存中有所需要数据,则直接由缓存提供,否则从HDFS中读取数据实...原创 2022-06-24 20:49:42 · 3554 阅读 · 1 评论 -
Spark BUG实践(包含的BUG:ClassCastException;ConnectException;NoClassDefFoundError;RuntimeExceptio等。。。。)
在编写scala测试spark出现的各种BUG:ClassCastException;ConnectException;NoClassDefFoundError;RuntimeExceptio等。。。。原创 2022-06-21 20:38:17 · 798 阅读 · 2 评论 -
Hive编程实践
Hive基础编程实践原创 2022-06-09 18:38:36 · 5002 阅读 · 2 评论 -
MapReduce初级编程实践
实验内容使用Java编程一个WordCount程序,并将该程序打包成Jar包在虚拟机内执行编程实现文件合并和去重操作编程实现对输入文件的排序对给定的表格进行信息挖掘参考资料原创 2022-06-03 10:51:35 · 3210 阅读 · 0 评论 -
使用JAVA API连接虚拟机的HBase并进行数据库操作
使用JAVA API连接虚拟机的HBase并进行数据库操作原创 2022-05-21 10:21:33 · 2060 阅读 · 0 评论 -
HBase编程实践
Hbase单机安装和伪分布式安装及简单命令原创 2022-05-16 19:05:28 · 1609 阅读 · 1 评论 -
熟悉常用的HDFS操作
实验环境ubuntu实验内容1. 先启动hadoop当前所在目录:2. hadoop fs -ls < path > 显示指定路径文件的详细详细3. hadoop fs -ls -R < path > ls命令的递归版本4. hadoop fs -cat < path > 将指定的文件的内容输出到标准输出(stdout)5. hadoop fs -chgrp [-R] group < path > 将path...原创 2022-05-03 15:31:22 · 5419 阅读 · 0 评论 -
实验一 熟悉常用的Linux操作和Hadoop操作
题目实验环境实验内容熟悉常用的Linux命令安装Hadoop安装ssh服务端安装Java环境并设置环境变量安装单机Hadoophadoop伪分布式安装出现的问题but there is no HDFS_NAMENODE_USER defined. Aborting operation.JAVA_HOME is not set and could not be found.执行sbin/stop-dfs.sh时出现Attempting to operate on hdfs nameno原创 2022-04-18 21:11:19 · 5567 阅读 · 0 评论