- 博客(17)
- 收藏
- 关注
RSS订阅原创 从零开始学Spark系列(1)——Spark概览
Spark是为大规模分布式数据处理而设计的一站式引擎(分布式数据处理引擎)，为中间计算结果提供了基于内存的存储。RDD（Resilient Distributed Dataset）叫做弹性分布式数据集是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。
2023-04-22 17:24:43
1019
原创 Spring框架学习笔记——IOC控制反转的简单实现
目录Spring简介java配置实例IOC实现原理Spring简介Spring是模块化的，意味着可以只使用需要的Spring模块。Spring模块主要分为以下模块:核心容器(core container)。Spring-core是核心工具类，Spring其他模块大量使用Spring-core; Spring-Beans Spring定义Bean的支持; Spring-Content为运行时Spring容器；Spring-context-Support为Spring容器对第三方..
2021-02-22 23:35:34
185
原创 2020-09-10
1. 获取leetcode题目信息由于手机端访问leetcdoe使用起来不是很方便，没法快速查到leetcode的每日一题，所以想着写一个爬虫来爬取每日一题并以邮件的形式发送到个人的邮箱。下面记录了相应的历程。首先查看下需要爬取的内容，如下图，我们需要爬取方框中所选的内容，包括题名、内容、难易度等。首先考虑到这个每日一题肯定不是硬编码在网页内容内而是动态获取的，ok，chrome开发工具开始干活，选择network-->xhr, 刷新之后发现出现大量graphql。GraphQL 既是
2020-09-10 20:48:59
476
原创 字典树的实现(c++版)并利用字典树解决leetcode336刷题笔记
字典树，又称前缀树或单词查找树，优点是最大限度的减少无谓的字符串比较，查询效率比哈希表高。Trie树的核心思想是空间换时间，利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。缺点是内存消耗很大。trie树把要查找的关键词看作一个字符序列，并根据构成关键词字符的先后顺序构造用于检索的树结构，类似于查阅英语词典。1.基本性质 A.根节点不包含字符，每条边代表一个字符； B.从根节点到某一结点，路径上经过的字符连接起来，为该节点对应的字符串； C.每个节点的所有子...
2020-08-06 22:58:13
600
原创 机器学习实战——adaboost算法
目录什么是集成学习什么时候集成的效果就会好于单个分类器基于数据集多重抽样的分类器训练算法：基于错误提升分类器的性能算法推导基于单层决策树构建弱分类器完整AdaBoost算法的实现参考文献什么是集成学习集成学习就是将多个弱的学习器结合起来组成一个强的学习器。这就涉及到先产生一组“个体学习器”，在用一个策略将它们结合起来。 个体学习器可以选择：决策树，神经网络。 集成时可以所有个体学习器属于同一类算法：全是决策树或全是神经网络，也可以来自不同的算法。结...
2020-05-27 18:32:18
484
原创 数据结构——二叉查找树
二叉查找树的定义二叉查找树（Binary Search Tree），也称为二叉搜索树、有序二叉树或排序二叉树，是指一棵空树或者具有下列性质的二叉树：若任意节点的左子树不空，则左子树上所有节点的值均小于它的根节点的值；若任意节点的右子树不空，则右子树上所有节点的值均大于它的根节点的值；任意节点的左、右子树也分别为二叉查找树；没有键值相等的节点。通常采取二叉链表作为二叉查找树的存储结构...
2019-07-30 09:33:35
194
原创 趣学算法(4)——动态规划
目录4.3 最长的公共子序列问题描述：问题分析:算法实现：4.4 编辑距离问题分析:算法思想:算法实现:4.5 游船租赁问题描述:问题分析:算法实现:4.6 矩阵连乘问题描述:问题分析：算法思想:算法实现:动态规划是一种分治思想，但与分治算法不同的是，分治算法是把原问题分解为若干子问题，自顶向下求解各种子问题，合并子问题的解，...
2019-03-12 20:36:48
390
原创 趣学算法(3)——递归分治
目录3.2 二分搜索技术 问题分析： 算法思想: 算法设计: 算法实现:3.3 合并排序 问题描述: 问题分析: 算法实现:3.4 快速排序 算法思想： 算法设计： 算法实现：3.5 大整数相乘 问题描述:...
2019-03-10 12:28:42
418
原创 趣学算法(2)——贪心算法
目录2.2 最优装载问题 算法设计: 算法实现:2.3 背包问题 算法设计:算法实现:2.4 会议安排 算法思想: 算法实现:2.5 最短路径 问题描述: 算法思想:算法实现:2.6 霍夫曼编码 问题描述: 算法思想:...
2019-03-08 20:28:25
672
1
原创 python爬取有声小说网站实现自动下载实例
最近想下载一些有声小说，但是苦于没有找到批量下载，每次都是单集单集的下载的，觉得很麻烦，就考虑用python写一个爬虫来实现自动搜集小说，自动下载。下面就是开始展开漫漫的爬虫之路。基础的就不多说了，重点就是针对在项目中遇见的一些问题进行记录。主要就以下三个方面进行展开：1.正则表达式的使用2.编码格式3.如何获取js动态加载生成的内容1.正则表达式的使用正则表达式主要是用于匹配相应的标签，这个可以...
2018-03-15 15:20:01
8115
原创 python爬取动态网站实例——以爬取豆瓣电影分类排行榜为例
最近在编写python爬虫的时候，发现有时候爬取的网页和实际看到的效果不一致，经过各种搜索之后发现这时因为网页在加载的时候动态加载的结果，所以，为了可以获得相应的结果，需要模拟相应的请求。本文以豆瓣电影排行榜为例，初步实现一个可以自动抓取，获得各种影片相关信息的爬虫。首先，爬虫能够直接爬取的，一般是我们右键查看源所得到的相应源代码，异步加载的动态内容需要后续发送请求获得，那么如何查看相应的请求。在...
2018-03-09 11:26:58
4159
原创 APUE习题10.5之implementing software timer
这篇文章提供了实现软件计时器所需的一系列函数。软件计时器是什么？你为什么需要实现软件计时器？软件计时器弥补了硬件计时器的先天不足。比如，对于大部分电脑的硬件计时器，你只能让时钟在未来某个指定时间触发一次中断
2017-05-26 15:22:52
894
原创 linux_shell之ls部分功能实现
主要实现以下功能：ls:显示当前目录下的所有文件(不含隐藏文件)ls -a:显示当前目录下的所有文件(含隐藏文件)ls -l:显示当前目录下的所有文件的详细信息ls -R:显示当前目录下的文件及其子目录下的所有文件 通过实现代码相应的总结：1.考虑各个选项对结果的控制，考虑将文件信息保存在一个全局数组当中，这样，可以根据后面各个选项的要求进行对格式信息的调整，可以
2017-04-18 14:46:18
2150
1
原创 排序之归并排序
归并排序，要将一个数组排序，可以先将它递归的分成两部分，然后在对这两部分数据分别排序，之后再将两个分别有序的序列合并到一起，组成一个全部有序的序列。归并排序最吸引人的性质是他能够保证将任意长度为N的数组排序所需要的时间和NlogN成正比。 代码如下： /* name:归并排序 author:adtim*/#include #include #include #in
2017-01-10 21:51:03
179
原创 排序之希尔排序
希尔排序是基于插入排序的快速的排序算法。插入排序对于大规模乱序数组插入排序很慢，因为他只会交换相邻的元素，因此元素只能一点一点从数组的一端一到另一端。希尔排序为了加快速度简单的改进了插入排序，交换不相邻的元素以对数组的局部进行排序，并最终将局部有序的数据排序。 希尔排序的思想是使数组中任意间隔为h的元素都是有序的。一个h有序数组就是h个互相独立的有序数组交织在一起组成的一个数组。在进行排序
2017-01-07 12:53:14
284
原创 在linux实现密码输入不回显
想在linux平台下输入一行字符，不回显或者以*代替输出字符需要用到tcgetattr和tcsetattr函数，tcgetattr用于获取终端的相关参数，而tcsetattr用于设置终端参数。 #include #include Inttcgetattr(int fd,struct termios *termios_p);Inttcsetattr(int fd,int
2016-09-06 19:23:11
2607
1
原创 bitmap文件格式的解析
经过两天的研究，大致了解了一下bitmap的格式解析，特此记录下来，方便以后自己查询和继续学习。首先，一个bitmap格式文件大致分为4个部分，分别是文件头信息，图像描述块，颜色表和图像数据区，下面一个个来看。文件头信息，用一个结构体来保存相关的信息，结构体如下： typedef struct tagBitMapFileHeader /* bmfh */{
2016-03-23 14:38:04
2758
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人