断桥bian

    2019年了，自己自我总结和反省了很长时间，发现还是需要在基础上面下功夫，所以今年还是在计算机基础方面上多花与一些时间，80%时间花在计算机基础知识的夯实，外语学习，20%时间花在自己感兴趣的其他领域，心理学，经济学（量化投资方向）。看书的话还是以英文版的为主，主要为了能同时提高英语水平。以及要开始思考怎么发展自己的副业了。书籍《梦的解析》-弗洛伊德 （done）《Learning...

Spark优化函数传递在spark中，很多操作都需要依赖用户传递的函数，在我们传递函数的时候，如果函数中包含其他对象的饮用，Spark也会把其他对象传递。(尤其是在python中)解决方法：将函数中的必要字段转换成局部变量，然后进行传递。引用《Spark快速大数据分析》...

RDD编程Spark中的核心数据操作：创建RDD转换已有的RDD调用RDD操作进行求值Note:RDD是Spark数据操作的核心，它的主要特点是操作链，惰性求值。RDD创建创建RDD主要有两种方法：读取外部数据集JavaRDD<String> lines = sc.textFile("your file path")在驱动

堆排序思路将数组转换成一个最小堆（升序排序）/最大堆（降序排序），然后挨个删除并输出堆顶元素，并继续调整堆为最小堆（升序排序）或者 最大堆（降序排列），从而最终生成一个升序或者降序序列。算法复杂度平均复杂度为: O(n) = nlogn，最坏情况下的算法复杂度：O(n) = nlogn;python实现## HeapSort implemented by pytho...

归并排序思路归并排序采用的是分治的思想，将一个 n 长度的数组不断的分成无数个小数组，然后对小数组进行排序，最后将所以的有序小数组合并，最终数组有序。算法复杂度    归并排序的平均复杂度： O(n) = nlogn, 最坏时间复杂度为：O(n) = nlogn算法空间复杂度    归并排序的空间复杂度： O(n) = npython实现# 递归实现import ...

归并排序思路归并排序采用的是分治的思想，将一个 n 长度的数组不断的分成无数个小数组，然后对小数组进行排序，最后将所以的有序小数组合并，最终数组有序。算法复杂度    归并排序的平均复杂度： O(n) = nlogn, 最坏时间复杂度为：O(n) = nlogn算法空间复杂度    归并排序的空间复杂度： O(n) = npython实现# 递归实现import ...

插入排序思路插入排序是最直观和自然的排序，它是从左到右，将一个数从它为起始位置 loc ，从右向左，进行比较，如果 array[loc-1] < array[loc] 或者 loc = 0 ，那么就将这个数插入 loc 位置，否则 loc 位置左移 ( loc = loc -1 )继续进行比较，直到数组有序。算法复杂度    插入排序的最坏时间复杂度为: O(n) = ...

冒泡排序思路模拟水中的冒泡过程, 大的水泡总是从底部不断的超过小的水泡，最终上升到水面。冒泡排序也是，从左到右,小的数不断的从右边冒泡上升到左边，最终实现有序。复杂度    冒泡排序的最坏时间复杂度为: O(n) = n^2，平均复杂度为： O(n) = n^2python实现def bubblesort(arr): for i in range(0,len(arr...

纸牌游戏时间限制：1秒空间限制：32768K牛牛和羊羊正在玩一个纸牌游戏。这个游戏一共有n张纸牌, 第i张纸牌上写着数字a_i。牛牛和羊羊轮流抽牌, 牛牛先抽, 每次抽牌他们可以从纸牌堆中任意选择一张抽出, 直到纸牌被抽完。他们的得分等于他们抽到的纸牌数字总和。现在假设牛牛和羊羊都采用最优策略, 请你计算出游戏结束后牛牛得分减去羊羊得分等于多少。输入描述:输入包括两行。第...

翻转数列小Q定义了一种数列称为翻转数列:给定整数n和m, 满足n能被2m整除。对于一串连续递增整数数列1, 2, 3, 4..., 每隔m个符号翻转一次, 最初符号为'-';。例如n = 8, m = 2, 数列就是: -1, -2, +3, +4, -5, -6, +7, +8.而n = 4, m = 1, 数列就是: -1, +2, -3, + 4.小Q现在希望你能帮他算算前n项和为...

查找数组中的前M大的数思路根据快速排序的Partition的思想，假定数组长度为n, 选定一个pivot,总能将数组分为 [0,k-1]和[k,n], 其中[0,k-1]<pivot,[k+1,n] > pivot。如果 k = m, 那么算法结束。如果k > m, 对[k+1,n]继续进行切分,每次切分k都会减少一部分, 直到k = m, 如果k < m, 对...

分块/索引查找思路前提： 1.块间有序 2.块内可以无序 3.索引中保存块的起始地址，和块内的最大值或者最小值 首先对索引进行折半查找，然后对块内进行顺序查找。算法复杂度    假设一个n长度的数组分为m块，每块的长度为： n/m, 那么算法的平均复杂度：O(n) = logm+n/m, 算法最坏情况下的复杂度： O(n) = logm + n/m。cpp实现st...

二分/折半查找思路前提： 数组必须是已经排好序的有序数组。假设数组为升序排列，把数组一分为二，取中间点mid做比较，如果比mid大, 那么继续在[mid+1,last]中查找，反之在[first,mid-1]中查找，对子数组继续进行上述操作,直到找到。算法复杂度    平均算法复杂度为： O(n) = logn；最坏情况的算法复杂度为： O(n) = logn;cpp实现...

顺序查找思路从数组的开头到结尾,顺序挨个比较查找。算法复杂度    平均算法复杂度为：O(n)= n; 最坏情况的算法复杂度为：O(n) = n;cpp实现int orderSearch(int dest_arr[],int dest) { int arr_len = sizeof(dest_arr)/sizeof(*dest_arr); for(int ...

快速排序思路选定一个pivot, 移动元素使得pivot左右两边的元素，一边大于pivot, 一边小于pivot, 然后分别对左右两边递归进行同样的操作，最后得到一个有序排列。复杂度    快速排序的最坏时间复杂度为: O(n) = n^2，但平均复杂度为： O(n) = nlogncpp实现template <class Type>void Swap(...

Mime     Mime 是一个随机模拟 useragent 的库。 它可以用来作为反反爬的工具，用来躲过一些 通过 useragent 的反爬手段。需求>= php7.1https://www.useragentstring.com Mime 的 useragent 数据来源于 https://www.useragentstring.com安装...

快速使用 项目的基本结构运行爬虫数据处理示例基本用法响应处理多进程快速使用项目的基本结构//项目根目录|-- Config //配置文件|-- LICENSE|-- README.md|-- composer.json|-- composer.lock|-- examples //示例|-- install.sh //安装脚本|...

安装 需求安装安装需求PHP >= 7.1pcntl(可选，多进程需要)安装git clone https://github.com/duanqiaobb/pider.gitgit submodule update --init --recursive//安装composer,如果出现问题，请参考 [composer官方文档]...

介绍 动机特性介绍   Pider 框架的目的是用PHP创建一个优雅的，可靠的，有用的爬虫框架。动机     毫无疑问， PHP 是一个很好的web编程语言。社区里面，各种web开发框架 也层出不穷，但是爬虫和数据处理框架却寥寥无几，而好用的几乎没有。我相信不仅仅只是可以在web领域大 放光彩，也可以在可以在数据处理和爬虫方面有所作为，就好像Python。所...

简介 Pider是什么？当前版本和状态文档简介Pider是什么？     Pider是一个优雅，强大，模板化的爬虫框架。Pider想要 在数据采集方面给PHP社区提供更加方便，快捷的工具和框架。当前版本和状态1.0 (开发中)文档     详细的使用用法，请参考文档。 如果你对本项目感兴趣, 或者觉得对你有用，可以在...