- 博客(16)
- 收藏
- 关注
RSS订阅原创 学习hadoop遇到的问题（在CDH中安装kafka+zookeeper时，消费端不消费，一直卡着）
经过查看是配置文件的问题，需要配置如下图 出现这种错误是对kafka的配置不熟悉造成官网地址：http://kafka.apachecn.org/documentation.html#gettingStartedkafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --part...
2019-01-31 18:02:01
1236
原创 大数据基础学习笔记（安装CDH）-CDH-6.0.0
1.按照《大数据基础学习笔记（安装CDH的环境配置）-CDH-6.0.0》进行安装2.如果网速好的话可以使用yum安装 master节点：yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server salve节点： yum install cloudera-ma...
2019-01-17 10:26:35
768
原创 大数据基础学习笔记（安装CDH的环境配置）-CDH-6.0.0
1.下载软件地址(（以centos7.4）)CDH安装包地址：https://archive.cloudera.com/cdh6/6.0.0/parcels/CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcelCDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha256manifest.jsonCloudera Manager...
2019-01-15 15:16:12
1219
原创 学习hadoop遇到的问题（hdfs权限问题，ls: Permission denied: user=root, access=READ_EXECUTE, inode="/user/spark":）
1.在CDH页面中添加超级用户2.手动给用户授权对CDH用户：对于文件夹/user，注意，这个文件夹的拥有者不是所谓的“root”。实际上，这个文件夹为“hdfs”所有（755权限，这里将hdfs理解为一个属于supergroup的用户）。 所以，只有hdfs可以对文件夹进行写操作。与Unix/Linux不同，hdfs是超级使用者(superuser)，而不是root。 ...
2019-01-14 16:25:10
7651
原创 学习hadoop遇到的问题（sqoop2报org.codehaus.jackson.map.JsonMappingException）
这是CDH本身的bug解决办法：cd /opt/cloudera/parcels/CDH/lib/hadoop/clientsudo ln -s ../../hadoop-hdfs/lib/jackson-mapper-asl-1.8.8.jarsudo ln -s ../../hadoop-hdfs/lib/jackson-core-asl-1.8.8.jar在重新启动sq...
2019-01-11 18:44:51
538
原创 学习hadoop遇到的问题（CDH5.12.1的hue的load balance红色警报，无法启动 ）
解决方法：yum -y install httpdyum -y install mod_ssl
2019-01-09 14:22:10
510
1
原创 大数据基础学习笔记-2.hadoop单机安装
推荐正式安装前，先去看看《安装大数据前的准备工作》里的文章1.服务器配置47.107.182.164,120.78.181.181两台服务器都是1核2G内存(推荐使用正式环境学习，安装CDH)2.服务器安装的服务 HA（高可用，有主备策略等）（1）47.107.182.164 1、HDFS服务（非HA） NameNode DataNode...
2019-01-07 16:32:25
270
原创 mongodb项目实战与高级应用（MongoDB 高可用方案-MongoDB 数据分片搭建）
和Replica Set 类似，都需要一个仲裁节点，但是Sharding 还需要配置节点和路由节点。就三种集群搭建方式来说，这种是最复杂的。配置数据节点mkdir -p /opt/mongodb/shard/replset/replica1/datamkdir -p /opt/mongodb/shard/replset/replica1/logsmkdir -p /opt/mongod...
2019-01-07 15:55:25
504
原创 mongodb项目实战与高级应用（MongoDB 高可用方案-MongoDB 副本集搭建）
MongoDB 副本集中文翻译叫做副本集，不过我并不喜欢把英文翻译成中文，总是感觉怪怪的。其实简单来说就是集群当中包含了多份数据，保证主节点挂掉了，备节点能继续提供数据服务，提供的前提就是数据需要和主节点一致。Mongodb(M)表示主节点，Mongodb(S)表示备节点，Mongodb(A)表示仲裁节点。主备节点存储数据，仲裁节点不存储数据。客户端同时连接主节点与备节点，不连接仲裁...
2019-01-07 15:10:29
905
原创 mongodb项目实战与高级应用（MongoDB 高可用方案-主从搭建）
1、命令行启动$ ./mongod --fork --dbpath=/opt/mongodb/data2、配置文件启动$ ./mongod -f mongodb.cfgmongoDB 基本配置/opt/mongodb/mongodb.cfgdbpath=/opt/mongodb/datalogpath=/opt/mongodb/logs/mongodb.logl...
2019-01-07 14:26:59
975
原创 mongodb项目实战与高级应用（用户管理）
1.1、添加用户为testdb 添加ma 用户use testdbdb.createUser({user:"ma",pwd:"123",roles:[{ role:"dbAdmin",db:"testdb"}]})具体角色有read：允许用户读取指定数据库readWrite：允许用户读写指定数据库dbAdmin：允许用户在指定数据库中执行管理函数，如索引创建、删除，查看统计或访...
2019-01-07 14:06:21
972
转载 Dubbo 一些你不一定知道但是很好用的功能
dubbo功能非常完善，很多时候我们不需要重复造轮子，下面列举一些你不一定知道，但是很好用的功能；直连Provider在开发及测试环境下，可能需要绕过注册中心，只测试指定服务提供者，这时候可能需要点对点直连，点对点直连模式，将以服务接口为单位，忽略注册中心的提供者列表，A 接口配置点对点，不影响 B 接口从注册中心获取列表（说明：官方只建议开发&测试环境使用该功能），用法如下，ur...
2019-01-07 10:13:35
477977
96
原创 mongodb基础(MongoDB 的应用场景和不适用场景)
1.适用场景对于MongoDB实际应用来讲，是否使用MongoDB需要根据项目的特定特点进行甄别，这就需要我们对MongoDB适用和不适用的场景有一定的了解。根据MongoDB 官网的说明，MongoDB 的适用场景如下:1.网站实时数据：mongoDB非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。2.数据缓存:由于性能很高，MongoDB 也适合作...
2019-01-04 15:21:01
6549
原创 学习hadoop遇到的问题(Sqoop 2,遇到Field 'CREATE_TIME' doesn't have a default value)
在MySQL 5.0.2之后对数据输入进行了强制性的加严处理，并且保留了以前的MySQL对非法或不当值并不严厉的行为，MySQL默认是对数据进行加严处理，但你可以为不良值选择更传统的处理方法，从而使得服务器能够拒绝并放弃出现不良值的语句。 MYSQL安装目录--->搜索打开my.ini，查找 sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE...
2019-01-04 10:23:12
4687
原创 学习hadoop遇到的问题（阿里服务器设置swap虚拟内存）
一，创建交换区 swap1，增加4G 大小的 swapdd if=/dev/zero of=/var/swapfile bs=1024 count=4096000if是指input file，of是output file。dev/zero是linux的一种输入设备，用来创建用于初始化的空文件，如临时交换文件，可以提供任何你需要的数目。 bs指 block size ，单位数据块bloc...
2019-01-03 16:50:33
884
转载 学习hadoop遇到的问题（安装hive遇到的问题）
转自https://blog.csdn.net/duyuanhai/article/details/775402881,通过Cloudera Manager添加Hive服务，在启动Hive的时候遇到错误：.org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver这种情况，猜测是缺少jdbc驱动，于...
2019-01-02 17:30:26
558
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人