- 博客(8)
- 收藏
- 关注
RSS订阅原创 python 千分位保留两位小数点的处理
import rea=102430 remain_amount = '%.2f' % (a / 100.0)remain_amount_format =re.sub(r"(\d)(?=(\d\d\d)+(?!\d))", r"\1,", remain_amount)
2020-01-14 11:06:53
2493
原创 Spark-sql执行时资源不够，如何对参数进行配置？
aa.hql文件中放的是你的sqlspark-sql-f aa.hql--executor-memory8g--executor-cores4--num-executors20
2019-12-19 17:02:01
959
2
转载 linux中从一个文件夹下的众多文件中找出包含指定内容的行
查找包含指定内容的文件就是用grep这个命令grep 'name' -r /grep '指定内容' -r 目录上述命令就是在根目录下递归查找包含name内容的文件-r 递归查找文件-e 从文件内容查找与正则表达式匹配的行–i 查时不区分大小写-c 查找匹配的行数-v 从文件内容查找不匹配指定字符串的行从根目录开始查找所有扩展名...
2019-12-17 19:55:26
2355
原创 找出1T文件中的重复行（用单机和大数据的技术分别实现）
场景需求：从1T文件中找出重复行，在这1T文件中只有两行数据是一样的，从单机跟大数据的视角如何解决这个问题？单机思想：假设你的计算机可用内存为500M，所以最少需要把这个文件拆成2000份来处理。怎么才能把相同的行放到一个文件中呢？这时我们可以采用 每行做hash，取得的值再对2000取模，即可以得到 值为 0 ~ 1999 的文件（2000个文件）。这里我们需要注意的是，不同...
2019-10-30 23:45:38
1163
原创 netstat的使用
netstat可以查看该机器上所有的网络套接字的连接情况，如果你想查看你的某一个web服务是否已经启动或者你想看这个web服务的进程号，都可以使用该命令。-a：列出所有的网络套接字链接 -t：列出所有的tcp链接 -u：列出所有的udp链接 -n：默认情况下netstat会利用反向域名解析技术对ip进行解析，显示对应的主机名，使用此命令会禁止反向域名解析 -l：只列出监听中的链接 -...
2019-09-11 14:36:24
128
原创 spring boot中使用@requestbody注解接收不到值是什么鬼
项目是前后分离的，后端是用spring boot写的，在测试post方法的时候，发现使用@requestbody注解竟然接收不到值，为此郁闷了半天
2019-08-23 15:03:46
4632
原创 操作系统初始（一）
概念：操作系统是介于计算机和应用软件之间的一个软件系统。从这个定义出发，我们知道操作系统的上边和下边都有别的对象的存在：下面是硬件平台，上边是应用软件。从管理者的角度看操作系统，操作系统是掌控计算机上所有事情的软件系统。替用户及其应用管理计算机上的软硬件资源。保证计算机资源的公平竞争和使用。防止对计算机资源的非法侵占和使用。保证操作系统自身正常运转根据管理的资源不同，操作系统的具体功能如...
2019-03-13 10:39:51
123
原创 java中经常提起的对象序列化是什么意思？
相信坐在电脑前编程的朋友会经常听到序列化这个词，那么什么是序列化呢？ serialization——对象的序列化：将java对象转化成zijie字节序列（IO字节流），对象序列化的目的就是序列化后的对象可以保存在磁盘上，也可以在网络上传输，使得不同的计算机可以共享对象。 对象序列化的条件：只有实现了Serializable接口的类才可以被序列化；如果对象的属性是对象，属性所对应的类
2018-01-31 12:29:58
800
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人