- 博客(7)
- 收藏
- 关注
RSS订阅原创 pandas小知识：字符串转datetime格式
两种方法：方法一：使用datetime.strptime()value = '2021-09-07'datetime.strptime(value, '%Y-%m-%d')# 结果 datetime.datetime(2021, 9, 7, 0, 0)# 这样就可以通过.year .month获取年、月方法二：使用第三方包dateutil的parser.parse方法注意： 这个包在安装pandas时已经自动安装from dateutil.parser import parsevalu
2021-09-07 16:26:29
1375
原创 python str.split() 和 str.strip()
str.split()：不带参数时，是默认以空格切片（不管空格的数量，只要是空格就切），带参数时，就按照设置的参数进行切片；str.strip():用于移除字符串头尾指定的字符，默认参数是空格，不论空格的数量；...
2020-10-05 15:02:09
431
原创 python的输入输出格式
1、输入一个整数a = int(input())2、输入一行整数a = list(map(int, input().split())3、输入一个字符串，转换成字符数组line = input()line = [i for i in line.split()]
2020-09-28 00:47:01
639
原创 一致性哈希
一致性哈希算法是一种分布式哈希的实现算法，主要就是为了解决在服务器集群中添加或者移除服务器时导致对象映射雪崩的局面；主要思想是：将原来的映射算法：hash(a) % N 改变为：hash(a) % 2^32-1; 将原来的服务器映射到一张环上，对象映射时，通过映射算法在环上找到一个值，然后以顺时针方向寻找最近的一个服务器节点，将对象值存储到此服务器节点上。解决服务器删除与添加的问题：假设服务器节点A删除时，服务器节点B是服务器节点A逆时针的第一个节点；影响的也只是服务器B和服务器A之间的对象映射
2020-09-27 01:57:33
96
原创 Kafka
Kafka第1章 Kafka概述1.1 定义Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。1.1.2 消息队列使用消息队列的好处（1）解耦 允许独立的扩展或修改两边的处理过程，只要确保遵守同样的接口约束（2）可恢复性 系统的一部分组件失效时，不会影响整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。（3）缓冲 有...
2020-09-14 23:23:27
112
原创 HDFS
第一章 HDFS概述1、HDFS产生背景及定义 随着数据量的爆炸增长，一个操作系统存不下所有的数据；这样就需要把数据分配到更多的操作系统管理的磁盘中，但是这样也随着带来一些问题：不方便管理和维护。在这样的情况下，需要一种系统能管理多台机器上的文件，这就是分布式文件管理系统，而HDFS就是其中的一种。 HDFS英文全称为：Hadoop Distributed File System, 是一个文件系统，用来存储文件，通过目录树来定位 文件；其次，它是分布式的，由很多服务器联合起来实现其功能，...
2020-09-11 22:04:36
598
原创 记录菜鸡的第一个面试和自己最近的心理状态
7月31日，投的简历；8月3日，笔试；笔试两道题，只尝试了其中一道，时间就到了；笔试应该是零分。后面觉得零分，也没面试机会了。期间就一直准备写论文的事情，真真是菜鸡一个；工作，工作没找好，论文也卡在那了。尝试了自己所知道的所有方法，效果依然不是很理想。自己的知识面太窄了，再加上以前没有关于数据处理的经验；导致第一次的数据处理结果不理想。这几天的心态，一直都紧绷着；尝试一种新的方法，不行，换另外一种方法；还是不行，接着换方法...... 一直到现在，所有的方法都尝试了一遍，还是不可以；就只能寻求一位.
2020-08-20 23:25:08
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人