- 博客(12)
- 收藏
- 关注
RSS订阅原创 本地主机IP与虚拟机IP冲突
如果是ip资源紧张的情况下尽量使用NAT模式，不然容易导致ip的冲突。目前我遇到的是在家庭网络中，各种智能电器也会占用一些网络，但远远未达到网络紧张的程度，造成本地网络ip与虚拟机ip冲突的情况应该不是非常常见。将本地windows主机的ip分配方式改为手动，并且设置ip地址和dns地址，设置完成之后，路由网址也可以访问了，本地ssh到三台虚拟机也通了。查看本地windows主机的ip地址变成了192.168.101.132 ，与虚拟机中的其中一台ip相同，看来是ip冲突了。
2024-07-01 15:12:14
479
原创 com.alibaba.fastjson.JSONException: TODO
fastjson解析报错com.alibaba.fastjson.JSONException: TODO
2023-04-25 10:33:17
2680
原创 在pom文件中设置repository不生效问题的解决
总结：特殊jar包的仓库地址配置到pom.xml中，settings.xml中只保留阿里镜像。com.e-iceblue 注意不要有空格。我想引入spire.xls，pom.xml配置如下。然后点击maven，公共下载特殊jar包。改动前：默认阿里云公共仓库。
2023-04-14 10:31:35
3066
3
原创 小文件存到HDFS占用空间是文件实际大小，而非一个block块的大小
想起一个问题： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？是128M吗（hadoop2.7.3版本开始默认block大小都是128M） 答案：占用的是实际的磁盘存储，而非一个block块的大小 补充块大小的作用 1、块大小更多是逻辑概念，指导存储规划和空间申请的 2、当文件通过append操作不断增长的过程中，可以通过来block size决...
2022-04-09 22:47:32
2387
原创 流式数据访问和随机读写的区别
刚看文章说HDFS的特点有：a.能够运行在廉价机器上，硬件出错常态，需要具备高容错性b.流式数据访问，而不是随机读写c.面向大规模数据集，能够进行批处理、能够横向扩展d.简单一致性模型，假定文件是一次写入、多次读取忽然对流式数据访问和随机读写的区别记不太清楚了，度娘了一篇文章，罗列如下：1、随机读写存储的数据在磁盘中会占用空间，对于一个新磁盘，操作系统会将数据文件依次写入磁盘，当有些数据被删除时，就会空出该数据原来占有的存储空间，时间长了，不断的写入、删除数据，就会产生很多零零散散的
2022-04-09 16:28:43
2905
原创 git 保护分支
问题描述：推送dev分支报错 该分支受保护$ git pushEnumerating objects: 9, done.Counting objects: 100% (9/9), done.Delta compression using up to 8 threadsCompressing objects: 100% (4/4), done.Writing objects: 100% (5/5), 418 bytes | 418.00 KiB/s, done.Total 5 (delta
2022-03-04 09:23:01
2939
原创 Hive表修改location
一、通过修改表DDL：alter table sdm.test_proj_plan set location 'hdfs://nameservice1/sdm/data/test/test_proj_plan'可以将要修改的表替换一下上面的语句，测试可行
2022-02-23 13:56:17
2306
原创 Mybatis报错：java.io.IOException: Could not find resource com/yd/mapper/UserMapper.xml
Could not find resource xx/xx/xx/xxMapper.xml
2022-01-29 22:28:15
1658
原创 Presto安装
尽管 Presto 能理解并高效地执行 SQL，但它并不是一个数据库，因为它并不包含自己的数据存储系统。它无意成为一个通用关系数据库，并取代 Microsoft SQLServer、Oracle 数据库、MySQL 或 PostgreSQL。此外，Presto 也不适用于联机事务处理（online transaction processing，OLTP）。许多为数据仓储和数据分析任务设计和优化的数据库也是如此，如 Teradata、Netezza、Vertica 和Amazon Redshift 等
2022-01-08 21:33:00
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人