- 博客(137)
- 收藏
- 关注
RSS订阅原创 GO知识点总结
一、底层原理1.select是随机的还是顺序的？select语句不使用default分支时，处于阻塞状态直到其中一个channel的收/发操作准备就绪（或者channel关闭或者缓冲区有值），如果同时有多个channel的收/发操作准备就绪（或者channel关闭）则随机选择其中一个。select语句使用default分支时，处于非阻塞状态，从所有准备就绪（或者channel关闭或者缓冲区有值）的channel中随机选择其中一个，如果没有则执行default分支。2.Go语言局部变量分配在栈还是堆？
2021-10-09 20:43:57
1607
原创 操作系统相关总结
一、并发、并行、同步、异步、阻塞、非阻塞并发：指一个时间段内，有几个程序在同一个CPU上运行，但是任意时刻只有一个程序在CPU上运行并行：指任意时刻点上，有多个程序同时运行在多个CPU上同步：指代码调用IO操作时，必须等待IO操作完成才能返回的调用方式。异步：指代码调用IO操作时，不必等IO操作完成就返回的调用方式。阻塞：指调用函数时候当前线程被挂起。非阻塞：值调用函数时当前线程不会被挂起，而是立即返回。阻塞非阻塞是对调用者而言，调用结果返回前进程的状态，是挂起还是继续处理其他任务。同步异步
2021-09-05 16:01:12
164
原创 网络相关总结
一、HTTP 与 HTTPS1、HTTPS协议需要到CA申请证书，需要一定费用2、HTTP信息是明文传输，HTTPS是具有安全性的SSL加密传输协议3、HTTPS和HTTP使用的是完全不同的连接方式，前者端口443，后者804、HTTP连接简单，是无状态的，HTTPS比HTTP安全。无状态是指两次连接通信之间是没有任何联系的，每次都是一个新的连接，服务端不会记录前后的请求信息。500：服务器内部错误。501：服务器不具备完成请求的功能。502：Bad Gateway错误。503：服务器目前
2021-08-30 22:13:09
134
原创 centos安装chromedriver并使用
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm# 查看安装的版本chromedriver -version根据上方查出的版本，在https://npm.taobao.org/mirrors/chromedriver中找到合适的安装包wget http://npm.taobao.org/mirrors/chromedriver/89.0.4389.23/chromedrive
2021-03-23 18:03:24
589
2
原创 Kafka知识点本文就够
本文目录一、Kafka概念二、消息队列的作用（一）缓冲和削峰（二）解耦和扩展性（三）冗余（四）健壮性（五）异步通信三、Kafka相对传统技术的优势（一）快速（二）可伸缩（三）持久（四）设计四、kafka 为什么那么快五、Kafka 消息是采用 Pull 模式，还是 Push 模式六、kafka中的broker的作用七、Zookeeper在Kafka中的作用八、Kafka 如何判断节点是否存活九、kafka中consumer group十、Kafka中是怎么体现消息顺序性的十一、消费者提交消费位移时提交的是当
2021-03-21 20:31:59
323
2
原创 Scrapy总结
本文目录一、 网络相关（一）HTTP 与 HTTPS（二）cookie和session（三）GET和POST区别（四）三次握手、四次挥手（1）三次握手（2）四次挥手（五）浏览器访问百度的过程（六）其他二、Scrapy组件三、 数据流四、 反爬机制和应对措施五、 日志信息和错误等级六、下载中间件（一）作用（二）拦截的请求（三）最重要三个方法（四）scrapy应用selenium的编码流程七、如何提升scrapy爬取数据的效率：八、爬取数据去重九、布隆过滤器一、 网络相关（一）HTTP 与 HTTPS1、
2021-01-24 18:44:22
445
原创 MongoDB知识点本文就够
本文目录一、 Mongo概述（一）Mongo适用场景（二）相关概念（三）Mongo是否需要很大的内存？（四）一、 Mongo概述（一）Mongo适用场景1、网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。2、缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源过载。3、在高伸缩性的场景，用于对象及JSON数据的存储。（二）相关概念1、mongodb是一个基于docume
2021-01-24 15:05:36
704
原创 Redis知识点本文就够
本文目录一、 Redis数据结构（1）String 字符串（2）Hash 哈希（3）List链表（4）Set集合（5）Zset有序集合二、 Redis单线程模型为啥这么快？（一）基于内存操作（二）C语言实现（三）简单的数据结构（四）多路I/O复用模型（五）单线程模型三、持久化之RDB与AOF（一）RDB（二）AOF（三）RDB和AOF对比四、 主从复制与故障转移（一）数据复制的意义（二）Redis注册复制原理（三）故障转移五、 高可用与 Sentinel 哨兵（一）sentinel的功能六、分布式缓存与 R
2021-01-10 17:57:13
2073
3
原创 MySQL知识点本文就够
MySQL知识点本文就够一、 数据库三大范式与五大约束（1）三大范式（2）五大约束二、 数据库事务（1）事务的四大特性（2）事务的四种隔离级别三、B树、B+树、二叉查找树、平衡二叉查找树、红黑树（1）B树（2）B+树（3）平衡二叉树（4）二叉查找树（3）红黑树四、MySQL锁（1）共享锁（S）（2）排他锁（X）（3）意向锁（4）意向共享锁（IS）（5）意向排他锁（IX）（6）表级锁（7）页级锁（8）行级锁（9）间隙锁（Next-Key锁）（10）死锁避免死锁（11）乐观锁（12）悲观锁五、 存储引擎（1）m
2021-01-10 14:32:00
3475
7
原创 使用PySpark处理数据
使用PySpark做用户画像文章目录使用PySpark做用户画像一、数据准备二、用户点击率1.创建SparkSession对象2.读取数据，将数据根据‘~’拆分，获取userid和behavior两列3.统计用户的各类行为数4.将userid,behavior和数量取出作为3列，并转为DataFrame格式5.根据userId进行分组，将behavior列数据进行旋转作为列标数值为cnt。并将behavior的0和1替换为“browse”和”click”。6.填充缺失值7.将计算的数据作为新列添加到数据8
2020-12-27 19:05:17
1058
原创 Pandas数据分析本文就够
十分钟快速上手Pandas数据处理一、常用操作1、csv读取和导出2、dataframe转换为列表3、某一列求和4、某一列格式转换5、选择数据6、修改数据7、删除数据8、处理NaN值9、保留小数和百分数处理10、列名更换11、复制12、相关值替换二、合并数据1、concat2、merge三、排名与排序1、排名，生成排序序号列。不改变数据顺序2、排序，改变数据顺序四、分组统计1、分组求和2、分组计数3、分组求累加值五、复杂操作1、条件赋值一、常用操作1、csv读取和导出df = pd.read_csv(
2020-07-16 19:53:58
615
原创 HBase分布式集群搭建（zookeeper+hadoop+hbase）超详细！
环境准备zookeeper：zookeeper-3.4.14hadoop：hadoop-2.8.5hbase：hbase-1.4.13master：namenode、resourcemanager，slave1：secondarynamenode、datanode，slave2：datanode一、Hadoop集群搭建1、hadoop安装包解压tar zxvf hadoop-2.8.5.tar.gz2、hadoop-env.sh、mapred-env.sh、yarn
2020-05-11 19:04:33
1422
2
原创 时间序列分析方法——ARIMA
一、相关概念1、ARIMA模型是一种流行且广泛使用的时间序列预测统计方法。ARIMA是AutoRegressive Integrated Moving Average的缩写。它是一类模型，它捕获时间序列数据中的一套不同的标准时间结构。AR：自回归。一种模型，它使用观察与一些滞后观察之间的依赖关系。使用原始观察的差分（例如，从前一时间步骤的观察中减去观察值）以使时间序列静止。MA：移动平...
2020-04-11 16:38:32
4191
原创 读取HBase字节串转码问题
从HBase读取数据非常容易，本人使用的是Python，HBase python支持库happybase操作起来非常方便，主要的问题就是数据编码解码问题。编码主要使用struct.pack()，解码使用struct.unpack()。最简单的方法就是向HBase存数据的时候首先都转为字符串的形式，再转为字节存储。这样解码就非常简单，可以直接使用decode()进行解码。HBase里的数据也是有可读...
2020-04-05 19:20:39
1312
原创 美团-走迷宫
matric = [[1,0,0,1,0,1], [0,1,0,1,0,0], [0,0,0,0,0,1], [0,0,1,0,0,0], [0,0,0,0,1,0]]b1,b2 = 1,0e1,e2 = 4,5rows,cols = len(matric),len(matric[0])visit...
2019-12-20 21:28:00
305
原创 二叉树前序、中序、后序遍历-python
一、中序遍历def inorderTraversal(root): if not root: return [] return inorderTraversal(root.left) + [root.val] + inorderTraversal(root.right)def inorderTraversal(root): stack = ...
2019-10-10 10:49:00
179
原创 63-股票的最大利润-python
题目：假设把某股票的价格按照时间先后顺序存储在数组中，请问买卖该股票一次可能获得的最大利润是多少def stock_max_val(arrys): bef_min = arrys[0] res = [0]*len(arrys) i = 1 while i<len(arrys): if arrys[i]<bef_min: ...
2019-09-24 15:41:00
136
原创 62-圆圈中最后剩下的数字-python
题目：0,1，...，n-1这n个数字排成一个圆圈，从数字0开始，每次从这个圆圈里删除第m个数字。求这个圆圈里剩下的最后一个数字。def delete_circle_n(head,n): p = head while p!=p.next: i = 0 while i<n: p = p.next ...
2019-09-24 15:33:00
96
原创 61-扑克牌中的顺子-python
题目：从扑克牌中随机抽5张牌，判断是不是一个顺子，即这5张牌是不是连续的。def is_continous(arrys): cnt_0 = arrys.count(0) res = sorted(arrys) i,length = cnt_0,len(res) cnt = 0 while i<length-1: if re...
2019-09-24 15:26:00
142
原创 设计一个高并发系统
升级过程为：最初系统——添加负载均衡——数据库分库分表+读写分离——缓存集群+消息中间件集群1、最初系统假设系统机器是4核8G，数据库服务器是16核32G。日活用户1W，系统层面每秒10次请求，数据库层每秒30次请求。2、添加负载均衡用户量增长了50倍，日活用户50万，高峰期对系统每秒请求500/s，对数据库的每秒请求1500/s问题：系统CPU负载过高，数据库可以接受...
2019-09-20 22:13:00
389
原创 58-2左旋转字符串-python
题目：字符串左旋转操作是把字符串前面的若干个字符转移到字符串的尾部。请实现左旋转操作。def reverse(arry,begin,end): while begin<end: arry[begin],arry[end] = arry[end],arry[begin] begin +=1 end -=1def left...
2019-09-18 10:21:00
127
原创 58-1翻转字符串-python
题目：输入一个英文句子，翻转句子中单词的顺序，但单词内字符的顺序不变。标点符号和普通字母一样处理。def reverse_string(s): s= list(s) reverse(s,0,len(s)-1) begin = 0 for i,c in enumerate(s): if c==' ': end = ...
2019-09-18 10:10:00
94
原创 57-2和为s的连续正数序列-python
题目：输入一个正数s，打印出所有和为s的连续正数序列（至少含有两个数）。def find_continuous_seq(target): if target<3: return -1 begin,end = 1,2 res = [] mid = target/2 s = begin + end while be...
2019-09-17 22:24:00
93
原创 57-1和为s的数字-python
题目：输入一个递增排序的数组和一个数字s，在数组中找查找两个数，使他们的和正好为s。如果有多对，输出任意一对即可。def find_nums_sum(nums,s): begin,end=0,len(nums)-1 while begin<end: if 2*nums[begin]<s or 2*nums[end]>s: ...
2019-09-17 22:03:00
90
原创 56-数组中数字出现的次数-python
题目：一个整型数组里除两个数字之外，其他数字都出现了两次。请找出这两个只出现一次的数字。时间复杂度O（n），空间复杂度O（1）。本题代码部分是简化版，只有一个数字出现了一次，其他都是两次。def find_appear(arrys): res = 0 for arry in arrys: res^=arry return res 注：使...
2019-09-17 21:53:00
139
原创 55-平衡二叉树-python
题目：输入一棵二叉树的根节点，判断该树是不是平衡二叉树。如果某二叉树中任意节点的左、右子树的深度相差不超过1，那么它就是一棵平衡二叉树。def tree_depth(root): if not root: return 0 left = tree_depth(root.left) right = tree_depth(root.right)...
2019-09-17 15:57:00
97
1
原创 54-二叉搜索树的第K大节点-python
题目：给定一棵二叉搜索树，请找出其中第K大的节点。def inorder(head,res): p = head if p: inorder(p.left,res) res.append(p.data) inorder(p.right,res)def tree_k(head,k): res = [] ...
2019-09-17 15:16:00
107
原创 42-蓄水池-python
题目：给定一个数组，每个数表示宽度为 1 的柱子的高度，计算按此排列的柱子，下雨之后能接多少雨水。def trap(arrys): res = 0 l,r = 0,len(arrys)-1 max_left,max_right = 0,0 while l<r: max_left = max(arrys[l],max_left) ...
2019-09-14 14:28:00
251
原创 11-盛水最多的容器-python
题目：给定一个数组，代表木板的高度。选两个木板，求两个木板的最大盛水量。def max_area(arrys): l,r = 0,len(arrys)-1 res = 0 while l<r: contain = min(arrys[l],arrys[r])*(r-l) if contain>res: ...
2019-09-14 13:12:00
89
原创 老虎-删除排序链表中的重复节点-python
题目：1-1-2-3-3-3-4-5-6-6-7，删除重复节点后返回2-4-5-7def delete_duplicate(head): h = Node(0) k = h p = head if not p or not p.next: return head q = p.next if p.val!=q.val: ...
2019-09-14 12:48:00
103
原创 72-编辑距离-python
给定两个单词word1和word2，计算出将word1转换成word2所使用的最少操作数 。你可以对一个单词进行如下三种操作：1、插入一个字符2、删除一个字符3、替换一个字符def min_distance(word1,word2): word1_len, word2_len = len(word1), len(word2) dp = [[0] * (...
2019-09-11 22:35:00
144
原创 53-3-数组中数值和下标相等的元素-python
题目：假设一个单调递增的数组里的每个元素都是整数并且是唯一的。请找出数组中任意一个数值等于其下标的元素。def get_num_same_index(nums): if len(nums)<1: return -1 begin,end = 0,len(nums)-1 while begin<end: mid = (b...
2019-09-10 21:09:00
116
1
原创 53-2-0~n-1中缺失的数字-python
题目：一个长度为n-1的递增排序数组中的所有数字都是唯一的，并且每个数字都在范围0~n-1之内。在范围0~n-1内的n个数字中有且只有一个数字不在该数组中，请找出这个数字。def get_missing_num(nums): if len(nums)<1: return -1 begin,end = 0,len(nums)-1 while...
2019-09-10 21:02:00
123
原创 53-1-在排序数组中查找数字-python
题目：数字在排序数组中出现的次数。输入为一个排序数组和一个数字。def get_first_num(nums,k,start,end): if start>end: return -1 mid = (end+start)//2 if nums[mid]==k: if mid==0 or (mid>0 and nums...
2019-09-10 20:36:00
144
原创 52-两个链表的第一个公共节点-python
题目：输入两个链表，找出它们的第一个公共节点。def first_common_node(head1,head2): p1,p2 = head1,head2 cnt1,cnt2=0,0 while p1: cnt1 +=1 p1=p1.next while p2: cnt2 +=1 p2=...
2019-09-10 20:24:00
91
原创 51-数组中的逆序对-python
题目：在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组，求出这个数组中的逆序对。def inverse_pairs(arrys): if len(arrys)<2: return 0 res = 0 length = len(arrys) arrys_sort =sorted(arry...
2019-09-10 20:05:00
157
原创 50-第一个只出现一次的字符-python
题目：字符串中第一个只出现一次的字符。def first_not_repeat(strs): dic = {} for s in strs: if s not in dic: dic[s] = 1 else: dic[s] += 1 for k,v in dic.items():...
2019-09-09 22:54:00
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人