大数据
寡丶人
如果可以,我想我是架构师
展开
-
数仓功能架构
原创 2021-11-02 14:53:48 · 214 阅读 · 1 评论 -
数仓物理架构
原创 2021-11-02 14:51:57 · 229 阅读 · 0 评论 -
java.io.IOException: NameNode is not formatted
启动hadoop时,发现没有NameNode进程。看了日志:2016-10-11 20:00:17,341 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.2016-10-11 20:00:17,341 INFO org.apache.hadoop.metrics2原创 2016-10-12 12:35:43 · 4153 阅读 · 3 评论 -
Hadoop基本Shell命令
cat使用方法:hadoop fs -catURI [URI …]将路径指定文件的内容输出到stdout。示例:· hadoop fs -cat hdfs://host1:port1/file1hdfs://host2:port2/file2· hadoop fs -cat file:///file3 /user/hadoop/file4返回值:转载 2017-06-26 11:39:40 · 382 阅读 · 0 评论 -
Hive QL详解
数据定义(DML)操作1、创建普通表create table page_view (viewtime int,userid bigint,page_url string,referrer_url string,ip STRING comment 'IP Address of the User')comment 'This is the page view table' ;2原创 2017-07-14 17:01:06 · 881 阅读 · 0 评论 -
Hive基本操作
创建表:hive>CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns,the first being an integer and the other a string创建一个新表,结构与其他一样hive>create table new_t转载 2017-06-27 16:07:11 · 435 阅读 · 0 评论 -
FSDataOutputStream (浅析hadoop写入数据api)
对于一般文件,都有满足随机读写的api。而hadoop中的读api很简单用FSDataInputStream类就可以满足一般要求,而hadoop中的写操作却是和普通java操作不一样。Hadoop对于写操作提供了一个类:FSDataOutputStream,这个类重载了很多write方法,用于写入很多类型的数据:比如字节数组,long,int,char等等。像FSDataInputStre转载 2017-07-10 11:50:42 · 9789 阅读 · 0 评论