- 博客(6)
- 收藏
- 关注
RSS订阅原创 IDE中使用phoenix添加数据时提示配置错误
在IDE中使用phoenix添加数据时，提示错误：Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.schema.isNamespaceMappingEnabled enabled错误如下是因为HBaseConfiguration.create方法底层调用了本地的配置文件在resources中加入hbase-site.xml即可...
2020-11-06 09:03:39
589
原创 MYSQL数据库服务无法启动
使用数据库时发现无法连接数据库，查看服务发现数据库服务挂了执行命令启动数据库，却无法启动（提示如下）在 服务器 的mysql日志 （/var/log/mysqld.log） 中，错误信息如下：解决办法： 在mysql路径下（ “/var/lib/mysql ”），将 ib_logfile0 及ib_logfile1 文件重命名，重新启动mysql服务即可。...
2020-11-02 12:25:55
1068
原创 项目经验之Hadoop参数调优
1）HDFS参数调优hdfs-site.xml dfs.namenode.handler.count=20×log e^(Cluster Size) ,如集群规模为8台时，此参数设置为41 The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server
2020-09-03 15:41:10
128
原创 Hive中分区表的基本操作
分区表 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。分区表基本操作1）引入分区表（需要根据日期对日志进行管理, 通过部门信息模拟）dept_20200401.logdept_20200402.logdept_20200403.log2）创建分区表语法hive (default)
2020-08-26 19:22:31
990
原创 Hadoop中NameNode和SecondaryNameNode工作机制
NameNode和SecondaryNameNodeNN和2NN工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题
2020-08-07 21:19:38
195
原创 Hadoop--SSH无密登录配置
SSH无密登录配置（例如 当前有hadoop102、hadoop103、hadoop104三台服务器）！1）配置ssh（1）基本语法ssh另一台电脑的ip地址（2）ssh连接时出现Host key verification failed的解决方法[atguigu@hadoop102 ~]$ ssh hadoop103出现：The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.RSA key
2020-08-07 11:57:54
303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人