博客专栏  >  云计算/大数据   >  大数据入门

大数据入门

从大数据最基本的技术分享与学习,到大数据技术实践。包含hadoop,hive,zookeeper,spark,stom等大数据相关的常用技术,以及mongoDB,Redis,MySQL等大数据常用数据库等。此专栏适合毫无经验或经验不足的新人。

关注
2 已关注
17篇博文
  • MongoDB Remove函数的3个常见用法

    在MongoDB中,db.collection.remove()方法用来从文档中删除文档。可以从一个集合中删除所有文档,删除匹配一个条件的所有文档,或者限制操作只删除一条文档。删除所有文档:删除集合中...

    2017-08-03 14:46
    186
  • hive表信息查询:查看表结构、表操作等

    问题导读: 1.如何查看hive表结构? 2.如何查看表结构信息? 3.如何查看分区信息? 4.哪个命令可以模糊搜索表1.hive模糊搜索表show tables like ‘name‘;2....

    2016-08-01 18:53
    193
  • Hive 的insert into 和 insert overwrite

    1、insert into 语句Hive> insert into table account select id,age,name from account_tmp;2、insert overwr...

    2017-04-28 14:49
    576
  • Hive 强制删除数据库

    删除数据库时,遇到如下问题FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Inv...

    2017-03-08 09:25
    2358
  • 用正则表达式匹配电话号码

    在hive中,使用正则表达式来筛选电话号码,电话号码不像手机号一样,电话比较难匹配,需要考虑的情况也比较多,所以在这里我使用正则表达式匹配所有的电话号码,比较长,只要用耐心就比较好整理。 号码由数字...

    2017-01-19 14:06
    307
  • Hive UI 界面的访问方法

    环境:hdp 2.4hdp 2.4 对应的hive版本是1.2.1如果是hdp 2.4 以及以下的版本,可以参考HDP2.4 及以下各组件版本安装Hive hwi 的方法:1. 下载源代码,根据自己的...

    2016-12-13 16:23
    2488
  • Hive 转换数据类型后导入表

    Hive 的内置数据类型可以分为两大类:基础数据类型和复杂数据类型。其中基础数据类型包括 tinyint,smallint,int,bigint,boolean,float,double,string...

    2016-11-23 18:28
    373
  • hive查看是外部表还是内部表

    我知道的有两个方法: 第一种方法是 进入hive,执行 describe extended tablename; 查看表的详细信息。 如果是外部表,在详细信息的最后一行,会输出 tableTyp...

    2016-11-08 15:57
    2616
  • Hive中select * 没有数据,而select count(*)有数据解决方法

    刚接触Hive,之前建表都是 external 表,这种表就是基于有外部.csv数据文件的,只要在建表时指明location,然后再将数据文件放到该路径就OK,今天建了一张普通表,发现这里面的数据不正...

    2016-08-04 15:01
    2493
  • Hive解决SQL的join or

    在处理数据时,遇到join on的条件有多个,然而hive不支持on or,因此问了度娘,找了google才发现这东西还涉及hive优化,吭哧了一下午终于弄出来,心情豁然开朗,希望本文能帮到遇到难题的...

    2016-08-02 16:11
    3023
  • Hive Metastore 启动成功又失败

    hive 在正常使用中 metastore 忽然停掉,查看日志,报一下错误:2017-06-19 12:11:15,134 ERROR [main]: metastore.HiveMetaStore ...

    2017-06-19 15:32
    874
  • Hive数据导出三种方式

    今天我们再谈谈Hive中的三种不同的数据导出方式。 根据导出的地方不一样,将这些方式分为三种: (1)、导出到本地文件系统; (2)、导出到HDFS中; (3)、导出到Hive的另一个表中。 ...

    2017-07-18 17:28
    248
  • HADOOP HDFS BALANCER介绍及经验总结

    1.集群执行balancer命令,依旧不平衡的原因是什么?该如何解决?2.尽量不在NameNode上执行start-balancer.sh的原因是什么?集群平衡介绍Hadoop的HDFS集群非常容易出...

    2017-04-26 11:12
    175
  • 使用ambari扩展hdfs节点

    1.Ambari添加节点:Hosts->Action->Add New Hosts 2.在已有节点及Ambari server上添加节点IP及hostname对应关系(/etc/hosts 文件),...

    2017-04-26 10:06
    808
  • Hadoop配置集群/分布式环境

    我的一台虚机上面装了三台Centos,hostname分别是Master,Slave1,Slave2,已经配置完无密码登陆,详解请看文章配置无密码登陆,接下来配置集群。 这里之配置正常启动所必须的设...

    2016-08-12 10:26
    474
  • Hadoop配置集群内无密码登陆

    我的一台虚机上面装了三台Centos,hostname分别是Master,Slave1,Slave2, Centos中查看节点 IP 地址的命令为 ip addr,如果是新安装的最小化centos,...

    2016-08-11 15:40
    188
  • 安装配置Hadoop

    1 .安装jdk先下载JDK安装包,一般不支持用wget下载,因为oracle 官网下载需要接受证书,所以先下载完,然后上传到linux环境中,/usr/local/jdk1.8.0_60 是jdk解...

    2016-08-10 19:07
    231
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部