- 博客(35)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 数据结构和算法----二叉树
一、说二叉树之前先说说树结构树这种结构就像我们现实生活中的’树‘，这里面每个元素我们叫做“节点”；用来连线相邻节点之间的关系，我们叫做“父子关系”。还有一些其他的概念：1、跟节点：树的顶端节点2、分支节点：至少有一个子节点的节点3、度：节点所拥有的子树个数4、边：一个节点到另一个节点之间的连接5、路径：连接节点和其后代的节点之间的节点和边的序列6、节点...
2019-05-09 18:27:51
257
原创 数据结构和算法----哈希算法
一、定义1、将任意长度的二进制值串映射为固定长度的二进制值串，这个映射的规则就是哈希算法。通过原始数据映射之后得到的二进制值串就是哈希值。二、hash算法编写要求从哈希值不能反向推导出原始数据 对输入数据非常敏感，哪怕原始数据只修改了一个Bit,最后得到的hash值也会变化 散列冲突的概率很小，对于不同的原始数据，哈希值相同的概率非常小 哈希算法的执行效率要尽量高效，针对较长的文...
2019-05-09 18:25:54
1094
原创 数据结构和算法----跳表
跳表定义跳表就是链表的一种变形。来降低链表查找和删除的时间复杂度。跳表其实就是一种可以进行二分查找的有序链表。这样的结构可以大大提高查找效率例如我要查找8正常查找需要遍历八个节点，现在只需要遍历七个节点，这个数据量比较小，优势不太明显。数据量越大有优势越明显这种链表加多级索引的结构就是跳表分析时间复杂度：每两个结点会抽出一个结点作为上一级索引的结点，那第一级索引的数...
2019-04-23 13:42:27
252
原创 数据结构和算法----散列表
散列表定义散列表是根据（key value）来直接进行访问的数据结构。它通过把关键码应射雕一个数组中的一个位置来访问记录，以加快查找的速度。这个映射的函数叫散列函数。存放记录的数组叫做散列表散列能做什么例如word的单词拼写检查功能，假设有一百万个单词，每个单词平局长度为10个字母，也就是占用十字节的空间。100万个单词四舍五入也就是占用10M的空间。我们将其映射到散列表中。当用户输入...
2019-04-19 17:22:21
306
原创 数据结构和算法----二分查找
二分查找 二分查找得定义 假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步查找前一子表，否则进一步查找后一子表。重复以上过程，直到找到满足条件的记录，使查找成功，或直到子表不存在为止，此时查找不成功。 二分查找的局限性 二分查找依赖得是顺序表结构 ...
2019-04-11 09:21:58
184
原创 数据结构和算法----排序算法day3
桶排序 原理： 将数组分到有限数量的桶里。每个桶再个别排序（有可能再使用别的排序算法或是以递归方式继续使用桶排序进行排序），最后依次把各个桶中的记录列出来记得到有序序列。桶排序是鸽巢排序的一种归纳结果。 桶排序适合用在外部排序，例如数据量较大内存中放不下就可以，用到桶排序。按照数据特征将数据分为m个有顺序的桶，在桶排序后合并即可。例如一年的10G的...
2019-04-09 11:08:04
214
原创 数据结构和算法----排序算法day2
归并排序 原理： 归并排序是建立在归并操作上的一种有效的排序算法,该算法是采用分治法的一个非常典型的应用。 将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。 若将两个有序表合并成一个有序表，称为二路归并。（以上是官方解释） 个人理解就是归并将一组数据用二分法将其分割成无数个小数列，然后再把小数列两两排序合并 代码： #...
2019-04-09 11:06:18
105
原创 数据结构和算法----排序算法day1
分析排序算法排序算法的执行效率（1）、时间复杂度的最好，最坏，平均情况 （2）、时间复杂度的系数，常数，低阶 （3）、比较次数和交换次数2、排序算法的内存消耗 我们可以通过空间复杂度来衡量排序算法的稳定性稳定性就是经过排序之后，相等的元素的先后顺序不改变常用的排序算法及实现这里只些一些常用的排序算法如：冒泡排序、插入排序、希尔排序、选择排序、...
2019-04-09 11:06:07
361
原创 数据结构和算法----递归
递归递归的定义递归，就是在运行的过程中调用自己。递归函数的优点是定义简单，逻辑清晰。理论上，所有的递归函数都可以写成循环的方式，但循环的逻辑不如递归清晰。递归的限制1、递归就是方法里调用自身。2、在使用递增归策略时，必须有一个明确的递归结束条件，称为递归出口。3、递归算法解题通常显得很简洁，但递归算法解题的运行效率较低。所以一般不提倡用递归算...
2019-04-01 20:04:57
209
翻译 流畅的python----day01
任何可迭代对象都可以通过一个赋值语句赋值给多个变量ps：a,b,c,d,e = [1,2,3,4,5]加*可匹配多个对象比如data = [1,2,3,7,7,7,77,7,]，我只想把前三个值赋值给a，b，ca,b,c,*_ = data执行结果均为1，2，33、保留最后N个元素from collections import dequedata = [1,2,...
2019-03-29 15:52:12
147
原创 数据结构和算法----队列
队列定义通俗点的定义就是，排队买票，先到的先买。就是先进先出。队列和栈一样都是操作受限的线性表数据结构入队，出队在队尾入队，队头出队。同样想象买票的流程。除非你经常插队要不很容易理解！实现方式顺序队列：用数组实现的队列链式队列：用链表实现的队列时间复杂度1、顺序队列的python代码实现首先说一下顺序队列的实现过程。与栈只需要一个栈顶指针不同，队列需要两个指针一个指...
2019-03-29 15:49:28
199
原创 数据结构和算法----栈
栈栈的定义栈（stack）又名堆栈，它是一种运算受限的线性表。其限制是仅允许在表的一端进行插入和删除运算。遵循后进先出，先进后出。分类1、顺序栈：用数组实现的栈 固定的大小 2、链式栈：用链表实现的栈 支持动态扩容三、栈的应用1、检测就近匹配的成对出现的符号2、表达式求值3、浏览器的前进和后退四、代码实现1、检测就近匹配的成对出现的符号...
2019-03-28 14:43:38
180
原创 数据结构和算法----链表
链表的定义链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表类型单链表双链表 循环链表双向循环链表时间复杂度单链表（1）、插入操作只需要改变相邻节点的指针就可以，例如将a插入n位置只需将n-1位置的next指针指向a，将a的next指针指向n+1。整个操作的时间复杂度为O(1)（2）、删除操...
2019-03-27 14:44:15
210
原创 数据结构和算法----数组
数组数组的定义数组是一种线性表的数据结构，在内存中表现为一组连续的存储单元，用来存储一组相同数据类型的数据 线性表：数组、链表、队列、栈 非线性表：树 图数组的效率低效数组的插入和删除操作是低效的，为了保持数组的连续行所以在进行插入和删除操作时要做数组进行最坏时间复杂度为O（n）的操作。（1）、插入 插入数据时为了保持存储单元的连续性，我们需要将数组中插...
2019-03-27 13:46:08
157
原创 数据结构和算法----复杂度分析
一、大O复杂度表示法1、从CPU的角度来看，每段代码都执行着类似的操作，读数据—运算—写数据。尽管每行代码对应的CPU执行的个数，执行的时间都不一样，我们只是粗略估计所以可以假设每行代码的执行时间都一样为unit_time。2、代码的时间复杂度总结成公式为：T(n) = O(f(n)) T(n)：表示代码的执行的时间 n：表示数据规模的大小 f(n)：表示每行代码执...
2019-03-27 11:35:39
175
原创 python列出集合中所有子集
废话不多说直接上代码，还有其他方法那些比较好理解。今天只说一下二进制位运算的方法。def PowerSetsBinary(items): N = len(items) for i in range(2 ** N):#子集的个数 combo = [] for j in range(N):#用来判断二进制数的下标为j的位置的数是否为1 ...
2019-03-27 09:39:02
10398
3
原创 数据转换之各类数据库的安装
Redis：redis安装很简单百度就可以说一下redis的配置（因为第一次安装时少不更事，被比特币病毒入侵。所以比较重视redis的配置，有时间我会更新一下比特币病毒的处理步骤，百度应该也能找到。就是有些代码和命令需要根据自己情况来修改）设置只有内网IP可以访问1、将redis.conf里的 bind 127.0.0.1 修改成本机本地IP2、仅对特定IP开放该端口 ...
2019-02-20 15:38:30
188
原创 基于python的各类数据库连接池
Mysql, Sqlserver,redis,oracle,pgsql的数据库连接池https://github.com/520zhangsiyuan/DB_utils.git
2019-02-19 15:45:03
812
原创 数据转换工具
最近本人用python做了不同数据库类型之间数据转换的工具，目前已完成Mysql，Oracle，excel，json，xml，sqlserver，csv，postgresql之间的转换。用到技术：vim，各类数据库，python，redis 1、因有些python库在windows上不是很友好，所有直接在linux上编写。因为我的linux没有图形化，所以直接用的...
2019-02-19 15:04:17
1061
原创 SQL两个字段之间模糊匹配
UPDATE park_gaode_test a ,park_gaode b set a.lat = b.location WHERE a.pid like CONCAT('%',b.pid,'%')
2018-12-12 19:56:26
14611
原创 用python将Gb2312转成URL编码
#!-*- encoding:utf-8 -*-import urllib.parsename = u'中国'encodedUrl = name.encode('gb2312')decodedUrl = urllib.parse.quote(encodedUrl)print(decodedUrl)parse.unquote(str2)
2018-12-12 19:55:40
1706
原创 Windows matplotlib中文字体设置
Linux/mac下面查看支持的字体fc-list 查看字体fc-list :lang=zh 查看中文字体 (冒号前有空格) 一、（支持Windows/linux）import matplotlibfont = {'family':'Microsoft Yahei',"size":"10"}matplotlib.rc("font",**font) ...
2018-12-12 19:53:34
2300
原创 python百度坐标转换成高德坐标
import mathlng = 1lat = 1x_pi = 3.14159265358979324 * 3000.0 / 180.0x = lng - 0.0065y = lat - 0.006z = math.sqrt(x * x + y * y) - 0.00002 * math.sin(y * x_pi)theta = math.atan2(y,x) - 0....
2018-12-12 19:52:57
1438
原创 python高德坐标转换成百度坐标
import mathx_pi = 3.14159265358979324 * 3000.0 / 180.0x = 113.812444y = 22.775683z = math.sqrt(x * x + y * y) + 0.00002 * math.sin(y * x_pi)theta = math.atan2(y,x) + 0.000003 * math.cos(x * ...
2018-12-12 19:51:58
1715
原创 redis 设置只有内网IP可以访问
设置只有内网IP可以访问1、将redis.conf里的 bind 127.0.0.1 修改成本机本地IP2、仅对特定IP开放该端口 firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="IP" port protocol="tcp" port="端口" accept"3、修...
2018-12-12 19:47:48
11418
原创 Hadoop启动脚本报错“ ssh: connect to host slave1 port 22: Connection refused”
因为修改了ssh默认端口号所以，觉得在hadoop启动脚本里ssh端口号是默认的22端口号。修改脚本文件即可，经过层层查找找到在hadoop/sbin目录下slaves.sh 脚本下的“ssh $HADOOP_SSH_OPTS $slave $"${@// /\\ }" \ 2>&1 | sed "s/^/$slave: /" &”在ssh 后加上 -p 修改后...
2018-12-12 19:45:55
6044
原创 自学之Numpy
创建数组的三种方式 a = np.array([1.12121212,2.326545,3.85456456,4.5456465456,5.8456456465],dtype=)设置默认数据类型b = np.array(range(1,6))c = np.arange(1,6) 修改浮点数小数位np.round(数组,小数点位数) 修改数...
2018-10-12 14:53:11
201
原创 自学之matplotlib
导入matplotlibfrom matplotlib import pyplot as plt 生成折现图plt.plot(x,y,label = “data”,color='r',linestyle='--',linewidth=5,alpha=0.5)color 颜色 ,linestyle 线条样式 ,linewidth 线条宽度 ,alpha 线条透明度,label=”...
2018-10-12 14:45:59
148
原创 模拟八爪鱼通用爬虫
这是我近期做的一个东西，因某些原因分布式不能上传，只上传最初的简单demo版本。 说一下我的想法，它点选会返回相同标签下的数据，所以要获取标签，并且要在本站显示用户想要爬取的页面。 首先说在本站显示想要爬取的页面：我的想法是将整个页面的html爬取到本地服务器，然后由本站加载该html就能基本实现此功能 然后是获取相同标签下的数据，因为是本站的html所以获取...
2018-10-10 11:06:46
1205
原创 HiveTSI和API编程
Thrift Service 服务配置：将下面配置写入hive-site.xml hive.server2.thrift.port 10000 hive.server2.thrift.bind.host localhost 将下面配置写入core-site.xml
2017-07-12 16:08:45
270
原创 Hive+Mysql+Ha
Hive为2.1 Mysql为5.7 Ha是上个文章配置的首先弄了个新虚拟机，装上Jdk 和MysqlMysql安装：1.删除系统其他版本不兼容数据库：yum -y remove mysql-libs （最好手敲，我复制出错）2.完成后依次安装：rpm -ivh mysql-community-common-5.7.18-1.el7.x86_64.rpmrpm -ivh
2017-07-11 11:38:42
412
原创 Hadoop,HA高可用集群
原本想把配置信息发上来，后来感觉太乱。所以以文件形式传到到csdn上，免费的有需要大家可以下载！首先准备五台机器，并且机器上有hadoop和zookeeper(zookeeper配置比较简单所以没写)机器规划：master1 192.168.59.110 （NN RM DZFC）master2 192.168.59.111（NN RM DZFC）slave1 192.168.
2017-07-07 15:25:25
338
原创 Haddop集群的简单搭建
ps:本人初学者，如有错误请多指教，博客里这些内容基本都是自学，请看到本文的大神多多指教。本人是在虚拟机上用centos 7 和Jdk 1.8 ，hadoop 2.7实验的（之前还想在Ubantu上实验，不过Xssh没有安装成功就暂时放弃了）先说一下遇到的问题 首先是与宿主机互相ping 不上，后来总结有几个原因，（1）网卡没配置
2017-05-25 17:03:07
406
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人