Hadoop
文章平均质量分 60
西门吹雪1998
北漂码农,个人v信:lengqin1024
展开
-
AI代码生成平台:程序员的灭亡还是腾飞?
让我们与AI代码生成平台和谐共处,发挥各自的优势,共同推动技术的发展。所以,亲爱的编程大神们,不要过于担心!随着人工智能技术的迅猛发展,AI代码生成平台如雨后春笋般涌现,它们可以快速生成代码、设计算法,甚至编写文档,让人类程序员望尘莫及。:AI可能无法像我们一样灵活运用逻辑思维,有时候,代码里需要的可不只是冷冰冰的数据,还需要那份人类的思考和理解。在这个充满挑战和机遇的时代,让我们一起勇往直前,创造属于我们的光辉未来!:AI生成的代码往往缺乏创造性,就像午餐盒里的三明治,千篇一律,缺乏灵感的味道。原创 2024-04-07 19:11:00 · 237 阅读 · 0 评论 -
Hadoop常用命令
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。 执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2原创 2014-09-09 00:11:16 · 957 阅读 · 0 评论 -
hadoop面试题集锦
Q1. Name the most common InputFormats defined in Hadoop? Which one is default ? Following 2 are most common InputFormats defined in Hadoop - TextInputFormat- KeyValueInputFormat- SequenceFileI原创 2014-07-31 23:27:07 · 10084 阅读 · 0 评论 -
基于HBase的手机数据备份系统
基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。包括服务器端(Server)和客户端(Client)Server运行环境:Hadoop+HBase+TomcatClient运行环境: Eclipse+Android2.3-----------------------------------------------------原创 2014-05-08 13:59:24 · 1022 阅读 · 0 评论 -
hadoop ipc原理简介
一、为什么不使用RMI 最最主要还是因为RMI的可控性不够灵活,其次数据序列化格式不够精简。 这两点可以在实际编程中慢慢体会,ipc例子可以在网上搜到。 二、主要技术元素 包含四点:1、序列化对象(数据传输的核心) 2、反射 3、动态代理原创 2014-04-18 23:17:01 · 1864 阅读 · 0 评论 -
secureCRT 向centos发送文件
首先在secureCRT使用:rz 命令,然后选择文件。即可传输。 从centos向windows传输数据,可以用sz命令。如:sz abc.txt 。即可把abc.txt 传输到windows中。原创 2014-03-16 14:13:57 · 1167 阅读 · 0 评论 -
在Hadoop中,从MapFile文件中读取指定键值的元素
在本示例中,我们实现了一个继承自Configured基类,并且实现了Tool接口的ReadMapfile类。这样ReadMapfile类就成为可以在Hadoop运行环境中执行的应用类。一)准备阶段Configured基类Configured基类实现了Configurable接口。Configurable接口的实现使该类具有在Hadoop环境下执行时,设置/获取Hadoop各种运行上转载 2014-02-27 21:53:46 · 4615 阅读 · 5 评论 -
HDFS: Using HDFS API to append to a SequenceFile
// fs and conf are set up for HDFS, not as a LocalFileSystemseqWriter = SequenceFile.createWriter(fs, conf, new Path(hdfsPath), keyClass, valueClass, SequenceFile.CompressionType.NONE);seqWriter.app原创 2014-02-27 17:28:00 · 948 阅读 · 0 评论 -
Hbase相关问题
配置文件hbase-site.xml: hbase.rootdir hdfs://192.168.1.128:9000/hbase hbase.cluster.distributed true原创 2014-01-22 22:54:27 · 932 阅读 · 1 评论 -
TextInputFormat源码
TextInputFormat是FileInputFormat的子类,其createRecordReader()方法返回的就是LineRecordReader。public class TextInputFormat extends FileInputFormatLongWritable, Text> { @Override public Recor原创 2013-12-23 10:50:40 · 1148 阅读 · 0 评论 -
JSP访问Hadoop 图片存储服务
使用hadoop的hdfs来存放图片文件.以下是整个架构思路: 使用hadoop作为分布式文件系统,hadoop是一个实现了HDFS文件系统和MapReduce的开源项目,我们这里只是使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中,hadoop可以设定备份数,这样在hadoop系统中某个datanode死掉并不会造成图片不可能转载 2014-01-02 19:56:09 · 5467 阅读 · 1 评论 -
Hadoop_MapReduce中的WordCount运行详解
源代码程序import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;impo原创 2013-12-13 15:57:17 · 8495 阅读 · 1 评论 -
Hbase常用操作(增删改查)
运行Eclipse,创建一个新的Java工程“HBaseClient”,右键项目根目录,选择 “Properties”->“Java Build Path”->“Library”->“Add External JARs”,将HBase解压后根目录下的hbase-0.94.1-security.jar、hbase-0.94.1-security-tests.jar和lib子目录下所有jar 包添原创 2014-01-01 11:23:24 · 11483 阅读 · 0 评论 -
LineRecordReader源码
LineRecordReader由一个FileSplit构造出来,start是这个FileSplit的起始位置,pos是当前读取分片的位 置,end是分片结束位置,in是打开的一个读取这个分片的输入流,它是使用这个FileSplit对应的文件名来打开的。key和value则分别是每 次读取的K-V对。然后我们还看到可以利用getProgress()来跟踪读取分片的进度,这个函数就是根据已经读取原创 2013-12-23 10:54:31 · 1985 阅读 · 1 评论