- 博客(9)
- 收藏
- 关注
RSS订阅原创 服务器 ping www.baidu.com没反应出现的问题解决
1.vim /etc/sysconfig/network-scripts/ifcfg-ens192把DNS1改为x.x.x.x例如8.8.8.8。3.systemctl restart NetworkManager重启网络管理，再ping www.baidu.com,成功ping通。2.改本地VMnet8下的ipv4属性中的的首选DNS服务器改为x.x.x.x，与之对应。此时ping没反应就是网络不通这个时候需要做以下几件事。
2023-11-23 10:48:40
712
原创 Doris2.0安装所遇到的坑
doris前置下载使用yum安装出现 “Could not resolve host: mirrors.bfsu.edu.cn；1.由于doris是对标使用mysql，所以需要先安装mysql，然后安装了mysql8.x版本后改密码时遇到一个。需要修改虚拟内存：sysctl -w vm.max_map_count=2000000。使用临时命令ulimit -u 65536，打开文件数。修改Fe，Be配置文件后，启动Fe的时候一切正常，5.5以下版本不能使用如下命令改密码。启动Be的使用，出现如下问题。
2023-11-09 00:13:26
621
1
原创 Doris学习路径1
现在公司想运用doris做数据处理，由于之前使用doris索引，使用doris中的bitmap索引加入到非唯一键中，在7g左右的数据中，使用了非唯一键当作索引列，结果导致原先查询时间为19s左右变为27s左右，问了相关doris技术老师，需要先将doris版本升级上去.明天再继续测试。1.存储到Doris的数据会从 MemTable 刷写到磁盘的过程分为两个阶段，第一阶段是将 MemTable 中的行存结构在内存中转换为列存结构，并为每一列生成对应的索引结构；
2023-11-07 18:00:21
99
原创 datax：从hive导入ftp com.alibaba.datax.common.exception.DataXException: Code:[FtpWriter-14], Description
(ftp server不支持递归创建目录,只能一级一级创建)，然后继续给根目录权限，但是还是出问题了，他会把path最后一层也当作文件了，出现这个问题其实就是自己迷糊了，问了一下其他同学，发现是dataxwriter写入的是目录而不是文件，还有writer写的有些问题，最后发出来正确的writer。然后改完密码后，又出现权限问题，无法创建文件，最后发现是文件权限问题，然后给予chmod -R 777。然后发现datax还是报错权限问题，最后调试datax源码时发现了这个。
2023-11-02 17:49:03
166
1
原创 总结面试问题，spark的shuffle
在基于 Sort 的 Shuffle 中，每个 Mapper 阶段的 Task 不会为每 Reduce 阶段的 Task 生成一个单独的文件，而是全部写到一个数据（Data）文件中，同时生成一个索引（Index）文件，最终生成的文件个数减少到 2*M ，其中 M 表示 Mapper 阶段的 Task 个数，而2就表示一个数据文件，一个索引文件，但是由于他强制在Mapper端进行排序会导致速度变慢，后续spark引擎又对其排序算法进行优化，才有了现在的sort shuffle。
2023-10-30 18:29:10
52
1
原创 datax踩坑2:{“message“:“字段类型转换错误：你目标字段为[BIGINT]类型，实际字段值为[114,baoancheng].“,“record“:[{“byteSize“:14,“in
{"message":"字段类型转换错误：你目标字段为[BIGINT]类型，实际字段值为[114,baoancheng].","record":[{"byteSize":14,"index":0,"rawData":"114,baoancheng","type":"STRING"}],"type":"writer"}我把所有bigInt全部换成了string，为什么能行？这是由于datax把csv一行数据（114，xiaobao）识别为1列，所以才会出现类型转换异常,为什么会出现这个问题呢？
2023-10-26 16:54:21
436
原创 datax踩坑1: - java.lang.IllegalArgumentException: No enum constant com.alibaba.datax.plugin.writer.hdf
如图已经没有long类型了只有bigint类型，这就告诉我们网上资料的实时性，以及代码的迭代是很快的。由于不清楚datax类型然后去网上看到如图,我把所有的int类型改为了long类型。然后我去看了datax最新的源码，如图。
2023-10-25 16:27:15
270
原创 nvm install出现的相关问题
1、npm cache clean -f 部分人会出现 npm WARN using --force Recommended protections disabled.的问题。3、输入代码 set-executionpolicy remotesigned 按回车键执行命令。2、输入 npm install npm @6.14.10 -g。使用npm install npm@6 -g 降低版本，4、后输入 npm install完美解决。还是上述错误，初步分析版本过高，4、输入 A，按回车键执行。
2023-10-24 15:20:21
877
原创 datax在window上安装遇到的小问题 出现配置信息错误
安装dataX的问题，com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe_51CTO博客_datax 安装
2023-09-25 10:08:29
124
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人