- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 MySQL数据库数据迁移
最近因为需要更换MySQL数据库服务器的原因，需要将原服务器上的MySQL数据迁移到另外一台服务器上。找了半天发现一款数据库的迁移工具，实测很不错。简介:DBConvert for MySQL & PostgreSQL 是一种可靠的双向定向数据库迁移工具，它可让您同步转换：MySQL to PostgreSQLMySQL to PostgreSQL DumpMySQL to P...
2019-12-30 10:38:40
2453
原创 关于MySQL5.6版本使用随机密码初次登陆问题
最近在安装MySQL 5.6 版本后发现，使用空密码无法登陆。MySQL在安装后生成了一个随机的密码，可以在 '/root/.mysql_secret’中找到。查看随机密码[root@node01 usr]# more /root/.mysql_secret# The random password set for the root user at Tue Dec 10 19:17:01...
2019-12-11 16:41:56
2477
原创 MySQL删除binlog日志
MySQL中的binlog日志记录了数据库中数据的变动，便于对数据的基于时间点和基于位置的恢复，但是binlog也会日渐增大，占用很大的磁盘空间，因此，要对binlog使用正确安全的方法清理掉一部分没用的日志。手动删除展示所有的binlog:show master status;1、删除指定时间以前的日志索引中binlog日志文件:PURGE MASTER LOGS BEFORE '2...
2019-12-09 15:07:25
1613
原创 Sqoop常用命令及参数
关于MySQL的相关参数:--connect jdbc:mysql://192.168.XXX.XXX:3306/test11 \--driver com.mysql.jdbc.Driver \--username root \--password root \--table table12 \--columns "name,age" \--where "city ='sec-bad...
2019-12-06 17:24:15
3921
转载 关于多源统一数据接入的思考
统一数据接入数据接入就是对于不同的数据来源、不同的合作伙伴，完成数据采集、数据传输、数据处理、数据缓存到行业统一的数据平台的过程。大数据接入处理面临的问题数据接入的三个阶段前期非结构化数据----（word，excel，图片，pdf，扫描件，视频）1.文本文件----(txt，csv)----utf-8（踩过的坑-gbk编码和数据中换行符触发spark2.2 加载文件的bu...
2019-12-06 14:10:58
6208
原创 Java代码(远程)调用执行Linux命令
方式一:最主要的是这三行代码，将程序打成jar包，上传到Linux服务器上运行，即可以执行想要执行的命令。 Runtime r = Runtime.getRuntime(); Process p = r.exec(" "); p.waitFor();代码示例:Java调用sqoop命令，实现MySQL数据导入Hive。public static void main(String[]...
2019-12-06 10:53:56
5046
1
原创 关于HBase的预分区
1、为何要预分区？增加数据读写效率负载均衡，防止数据倾斜方便集群容灾调度region优化Map数量2、如何预分区？每一个region维护着startRowKey与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。3、如何设定预分区？(1)、手动指定预分区hbase(main):003:0> create 't...
2019-12-02 15:00:59
4158
原创 Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure conne
今天在使用Java代码操作hdfs文件的时候报错:Server (是指hdfs) asks us to fall back to SIMPLE auth, but this client (是指程序) is configured to only allow secure (是指kerberos) connections.原因是代码中编写了登录kerberos的代码,而hdfs没有开kerb...
2019-12-02 10:34:38
8630
apache-hive-2.3.5-bin.tar.gz
2020-06-23
tg-jdbc-driver-1.2.jar
2020-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人