- 博客(19)
- 收藏
- 关注
RSS订阅原创 一个Flink sql 程序中 tableEnv 合并insert into
如果提交 比如提交给yarn 就会生成了多个job, 每个job都在yarn上启动了一个应用程序，而且后面执行的会报错 跟第一个冲突。Flink sql 当多个insert分别写出时。这样就解决了在一个job输出到多个sink。
2024-07-15 12:03:28
122
原创 CDH6.3.2 hive报错 Caused by: java.lang.RuntimeException: java.io.IOException: Permission denied
【代码】CDH6.3.2 hive报错 Caused by: java.lang.RuntimeException: java.io.IOException: Permission denied。
2024-07-01 11:26:37
137
原创 CDH6.3.2报错 存在隐患 : 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k. The number
直接不用管 因为DataNodes 没有9个。
2024-06-26 10:57:11
124
原创 hdfs Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp/logs/root“:root:hadoop:drwxrwx
rwx-r–r-- (一共10个参数) 表示文件所属组和用户的对应权限。777 代表 rwxr-rwx-rwx 所有用户都可读可写可执行。再次通过Hadoop 访问Web界面成功进入tmp目录下！接下来就简单了:r==>可读 w==>可写 x==>可执行。第一个跟参数属于管理员，跟chmod无关,先不管.所以755代表 rwxr-xr-x。8-10参数:属于others。5-7参数:属于group。解决方法：修改tmp权限。2-4参数:属于user。
2024-04-25 11:23:12
223
1
原创 cdh 6.3.2 hdfs 报错 不良 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件
hdfs时，报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。解决方法：sudo -uhdfs hdfs dfsadmin -safemode leave。经过查看日志，发现 Name node is in safe mode.
2024-04-24 11:32:31
439
原创 redis安装部署
redis-server /usr/local/redis/etc/redis.conf //启动redis。rm -rf /root/download/redis-4.0.4 //删除redis解压文件夹。rm -rf /usr/bin/redis-* //删除所有redis相关命令脚本。rm -rf /usr/local/redis //删除安装目录。pkill redis //停止redis。客户端检测连接是否正常。
2024-01-02 10:09:53
428
1
原创 MySQL授权用户
GRANT 权限 ON 数据库名.表名 TO ‘用户名1’@‘访问主机1’, ‘用户名2’@‘访问主机2’ IDENTIFIED BY ‘密码’;GRANT 权限 ON 数据库名.表名 TO ‘用户名’@‘访问主机’ IDENTIFIED BY ‘密码’;REVOKE 权限 ON 数据库名.表名 FROM ‘用户名’@‘访问主机’;GRANT 权限 ON 数据库名.表名 TO ‘用户名’@‘%’;SHOW GRANTS FOR ‘用户名’@‘访问主机’;1.给单个用户授权访问权限。
2023-10-31 14:33:45
60
1
原创 更改MySQL数据库目录位置
MySQL默认的数据文件存储目录为/var/lib/mysql。修改数据存储位置目录移到/data。为保证MySQL能够正常工作，需要指明mysql.sock文件的产生位置和数据目录。2、把/var/lib/mysql整个目录复制到/data。3、编辑MySQL的配置文件/etc/my.cnf。4、启动MySQL服务。
2023-09-27 11:21:54
116
1
原创 kudu的使用限制
2 impala 大小写不敏感，kudu 大小写敏感，Impala建表时的大小写除了表名其他的所有字段都会变成小写进入kudu，这点注意impala是区分大小写的，如果你用大写建立kudu表，那么你能在kudu中查到小写的表，但是在impala中，你用大写小写都会查不到。9 在编码和压缩前，任何字段值不能超过64kb，由kudu编码后，联合主键不能超过16k，超过将报错。6 主键不能通过update更新，想要修改主键，必须删除行，然后重新插入，而且这种操作不是原子的。5 创表的时候，主键必须在最前边。
2023-08-22 16:57:04
258
1
原创 postgreSQL 13.X部署安装
执行还原：pg_restore --username “postgres” --no-password --role “postgres” --dbname “test” --verbose /tmp/test.backup。#查看服务状态 sudo systemctl status postgresql-13。#启动服务 sudo systemctl start postgresql-13。数据库存储位置：/var/lib/pgsql/13/data)
2023-04-04 15:52:44
125
原创 cloudera manager CDH6.3.2集成streamsets
streamsets产品是一个做大数据ETL的工具，支持包括结构化和半/非结构化数据源，拖拽式的可视化数据流程设计界面。而Streamsets旗下有如下三个产品： streamsets data collector(核心产品,开源)：大数据ETL工具；streamsets control hub(收费项目)：可以将collector编辑好的pipeline放入control hub进行管理，可实现定时调度、管理和pipeline拓扑；manifest.json(可以不放置)
2023-03-31 17:39:27
233
原创 执行./flink run -m yarn-cluster -c 报错解决
【代码】执行./flink run -m yarn-cluster -c 报错解决。
2023-03-24 10:23:30
175
原创 BI平台AJ-Report的发行版部署
AJ-Report是一个完全开源的BI平台，酷炫大屏展示，能随时随地掌控业务动态，让每个决策都有数据支撑。多数据源支持，内置mysql、elasticsearch、kudu等多种驱动，支持自定义数据集省去数据接口开发，目前已支持20种大屏组件/图表，不会开发，照着设计稿也可以制作大屏。三步轻松完成大屏设计：配置数据源---->写SQL配置数据集---->拖拽配置大屏---->保存发布。欢迎体验。
2023-03-15 13:18:35
1522
原创 java代码常用词汇
password：['pɑ:swə:d]口令密码administrator：[əd’ministreitə]管理员initial：[i’niʃəl]开始的最初的。primitive：['primitiv]初始的简单的reference：['refərəns]参照证明关系。continue：[kən’tinju:]进入到下一个循环return：[ri’tə:n]返回（值）encapsulation：[in,kæpsju’leiʃən]封装null：[nʌl]空的。static['stætik]静的;
2023-03-15 09:28:02
92
MySQL必备手册 非常齐全
2023-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人