- 博客(29)
- 收藏
- 关注
RSS订阅原创 供参考
参照(2.4)式子 （1）转换样式 （2）其中符合线性回归公式（3）因此参数 a 更新公式参考（4）编程详情：（1）、将多条输入输出数据向量如，，组合成二维数组（2）、初始化 a 数组 为（3）、求取 a0 * X 的值 r0（4）、参照公式3 计算损失值(r0 - r) = [r0 -0, r0-0, r0-0, r0-0] * X 得到（5）、给个学习率如0.01，根据公式4 求取更新后的系数（6）、迭代3到5，直到（r...
2021-02-23 16:05:42
170
原创 Adaboost算法收藏链接
以下作者的文章写得很好，特做收藏：https://blog.csdn.net/guyuealian/article/details/70995333https://blog.csdn.net/v_JULY_v/article/details/40718799
2019-11-12 17:13:59
190
原创 最大熵模型理解与补充
关于最大熵模型，看了一些作者的文章，感觉写的已经很好了，我觉得没有必要再写一遍了，本文给出相应连接，供读者参考，另外增加一些个人理解，使得读者在部分模糊位置可以更直观的了解。由于引用了好几个大佬的文章，所以看着就很杂，希望读者沉住气，一天看不下去，先放下，明天再看。另外公式太难敲了，为了增加书写的效率。这里引用别人公式的图片。参考链接：https://www.cnblogs.com...
2019-11-07 18:42:03
475
原创 牛顿法与拟牛顿法链接
由于该作者写的推导已经很好了，特做收藏参考文档：https://blog.csdn.net/songbinxu/article/details/79677948
2019-11-05 16:34:16
161
原创 广义线性回归与逻辑回归理解
前言在学习机器学习的过程中，我们最开始通常会接触各种类型的回归模型。例如线性回归用来模拟一条线性函数满足函数周围的数据到达该直线的误差最小；逻辑回归用来确定以某条线性函数为基础，其两边的数据可以分为两种类型。我们往往只知道模型可以处理什么样的逻辑，做什么样的事情，却对为什么是这个模型了解甚少。本文通过参考多种资料，通过对广义线性回归的理解出发，来阐述其他回归模型的生成原理。所写纯属个人理解，如...
2019-11-01 20:12:18
1249
1
原创 一日一坑之：hadoop3.x VS hbase2.2.x
为了适配我什么都想用最新的强迫性格，在搭建hbase过程中，应用了最新的hbase2.2.1版本的包，拿出珍藏已久的老版本安装文档，仔细安装，就在此时坑又来了。首先对照了这几个表，查看下hbase和哪些jdk和hadoop匹配可以查看这个网站，这里打印表不太容易看：http://hbase.apache.org/book.html#basic.prerequisites在第四个栏位...
2019-09-29 15:27:29
1122
原创 关于Zookeeper一个小问题
最近在centos7上安装zookeeper的过程中出现一个让人很迷惑的小问题，这里分享一下。集群配置文件：tickTime=2000initLimit=10syncLimit=5dataDir=/home/hadoop/app/zookeeper/datadataLogDir=/home/hadoop/app/zookeeper/logsclientPort=2181...
2019-09-29 11:35:38
981
3
原创 HIVE工作原理链接
关于hive的基本原理可以看这个博客，写的还是不错的，从零学习系列，特做收藏https://www.cnblogs.com/qingyunzong/p/8707885.html
2019-09-12 13:31:41
275
原创 一日一坑之：hadoop3.x VS hive3.x
最近安装了新版本的hadoop3.x版本，按照老思路此时需要安装hive3.x用来搭配我们崭新的hadoop，重新翻出来我的泛黄的hive2.x版本的安装说明书安装了一遍，就在此时坑来了。坑一：FAILED: ParseException line 1:5 cannot recognize input near 'show' 'database' '<EOF>' in ddl st...
2019-09-10 15:54:05
3170
原创 hadoop mapreduce几种处理方式
mapreduce在应用过程中可以通过灵活定制各部分代码用以解决复杂逻辑，本文简单介绍各部分定制代码的流程，代码由于过多就不进行书写。1、多map多reduce在某些业务场景中，如找出公共好友的过程中，一组map-reduce任务没办法一次处理得到结果，因此应用两次map-reduce进行处理。找出共同好友A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,I........
2019-08-30 17:40:50
504
原创 一日一坑之：centos7.x VS hadoop3.x
由于从事其他方向，很久没有玩过hadoop，今天心血来潮想安装hadoop试试手，看了下centos居然出了7.x版本，之前一直用的是6.4版本的，特下载下来安装一下。查看下hadoop版本，已经出了3.x版本，下载尝尝鲜。从此刻开始，坑来啦。坑1：如果安装mini模式的centos你会发现没有ifconfig对没错，就是没有，/sbin下也没有解决办法：yum instal...
2019-08-29 16:05:06
160
原创 hadoop工作原理链接
由于网友对工作原理的总结很优秀，有些写的比我掌握的还要多，很惭愧，对于工作原理，下面链接几条写的不错的博文，收藏作为后续回顾使用。hdfs工作原理：https://blog.csdn.net/liuguangrong/article/details/52906933yarn工作原理：https://www.cnblogs.com/codeOfLife/p/5492740.html...
2019-08-29 15:15:52
288
原创 应用zookeeper动态修改flume接受数据格式
项目位置：https://github.com/wty19920422/mydesign按照需求可以自定制代码，下面展示部分流程应用flume接受tcp数据的过程中，为了产品有时需要动态修改数据格式。例如增加公司信息、数据监管人员信息以及其他自定制格式等，数据接受实时性很高，格式变化需要及时响应。为了满足数据变化的实时性可以通过多台flume服务器同时监控zookeeper中对应znode...
2019-08-16 15:54:25
363
原创 zookeeper工作原理简述
Zookeeper的出现是为了解决分布式系统中，由于网络不确定性所引起的：数据访问顺序不确定、数据访问视角不统一、节点上下线感知滞后等问题。1、Zookeeper是什么？Zookeeper是一个分布式的，开放源码的分布式应用程序系诶套服务，是Google的Chubby一个开源的实现。2、Zookeeper基础单元zookeeper基础单元称作znode，类似于操作系统中的文件夹。...
2019-08-16 14:34:30
732
原创 字符串最长回文子串
算法介绍给定字符串str，若s同时满足以下条件：s是str的子串s是回文串则，s是str的回文子串。算法的要求，是求str中最长的那个回文子串。算法详解第一种：枚举中心方法循环索引，判断以某索引位开始判断前一半和后一半是否相等，如果相等计算总长度。int enumCenter(char *S) { int i, j, max; int start = 0;...
2018-11-07 18:13:22
337
原创 字符串查找
算法介绍给定文本串text和模式串pattern，从文本串text中找出模式串pattern第一次出现的位置。 算法详解基本的字符串匹配算法大致有一下集中方法第一种：暴力法代码部分：void searchViolence(char *S, char *P) { int i = 0; int j = 0; int sSize = strlen(S); int p...
2018-11-07 18:10:42
200
原创 字符串全排列
算法介绍给定字符串S[0…N-1]，设计算法，枚举S的全排列。算法详解 第一种：递归法从最外层字符递归到内层，如果递归到最后一层，那么打印所有字符。 代码部分：void recursiveMethod(char *S, int from, int to) { // 到最后一层则打印整个字符串 if (from == to) { for (int i ...
2018-10-31 17:54:58
157
原创 字符串循环左移
算法介绍给定一个字符串S[0…N-1]，要求把S的前k个字符移动到S的尾部，如把字符串“abcdef”前面的2个字符‘a’、‘b’移动到字符串的尾部，得到新字符串“cdefab”：即字符串循环左移k。同时循环左移k位等价于循环右移n-k位。算法详解第一种：暴力法每次循环左移1位，调用k次即可时间复杂度O(kN)，空间复杂度O(1)void voilenceMove(ch...
2018-10-30 14:39:09
1313
原创 字符串编辑距离
前言字符串编辑距离(Edit Distance)，是俄罗斯科学家Vladimir Levenshtein在1965年提出的概念，又称Levenshtein距离，是指两个字符串之间，由一个转成另一个所需的最少编辑操作次数。算法介绍判断2个字符串相似情况枚举字符串S和T最后一个字符s[i]、t[j]对应的四种情况：(字符-字符)(字符-空白)(空白-字符)(空白-空白)；显然的是，...
2018-10-29 15:10:50
294
原创 求取最长公共子序列
前言LCS可以描述两段文字之间的“相似度”，即它们的雷同程度，从而能够用来辨别抄袭。另一方面，对一段文字进行修改之后，计算改动前后文字的最长公共子序列，将除此子序列外的部分提取出来，这种方法判断修改的部分，往往十分准确。算法介绍子序列：一个序列S任意删除若干个字符得到新序列T。公共子序列：两个序列X和Y中都存在的项组成的序列。最长公共子序列：两个序列X和Y的公共子序列中最长的序...
2018-10-29 14:29:08
1711
原创 查找旋转数组最小值
算法介绍求对于长度为N的数组A，求子数组的和接近0的子数组。例如： 求取算法介绍定义n长度的空间sum[0…N-1]，sum[i]是A的前i项和。并且有sum[i+1]=sum[i]+A[i+1]。首先对sum[i]进行排序，找到求和最接近的2个值。同时记录使得值最小的数组最短的那一组。如图： 通过求取求和值最接近的一组数据可以找到零子数组对应的位置...
2018-10-25 17:39:34
464
原创 最大连续子数组
前言最大连续子数组问题作为面试题的经典问题，在算法导论书中给出了几中求解方式，由于最近在复习算法方面知识，遂通过描述用C语言对内容进行总结。算法介绍给定一个数组A[0,1,...,n-1]，其数组元素有正有负，求取其中连续子序列的和最大。例如：求取算法介绍而针对该问题的求取方法，通常有4中常用的算法：暴力法，分治法，分析法，动态规划法。从前到后时间复杂度分别为,,,...
2018-10-23 18:32:25
1651
3
原创 zookeeper自动化安装脚本
用于减少操作人员安装软件的时间，将zookeeper软件的安装写成脚本形式，可以降低操作复杂性，提高可移植性。一、脚本前准备1、zookeeper软件下载下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/本文做测试的zookeeper版本为 zookeeper-3.4.132、zookeeper自定义配置文件touc...
2018-10-23 14:56:32
590
原创 ssh免密登录究极自动化脚本
如果读者对expect和ssh认识比较清晰，可以直接跳转到下面代码部分 预备知识 expect中关键命令：send，expect，spawn，eof。1、expect：从进程接收字符串。expect -c 是将终端操作变成命令操作。2、send：用于向进程发送字符串。一般用于向停滞不懂的命令行发送指令，从而能进行下一步操作。3、spawn：启动新的进程，之后所有...
2018-09-28 19:22:41
989
原创 通过awk命令获取rm用户敏感操作
一：获取历史操作命令通过history命令查看用户操作情况：history二：通过awk命令过滤敏感操作及敏感文件命令如下：# BEGIN进行参数赋值，中间部分进行参数判断，END部分进行最终打印# ~ /files/ 代表是否包含history | awk 'BEGIN {flag="rm";count=""} {if(flag==$2) {if($4 ~ /file...
2018-09-17 17:52:40
620
原创 通过sort，uniq，sed实现单词统计并取出单词个数最多的前10个单词例子
注意：最后一条命令即可完成例子中所描述的问题，分开的每一步是为了让读者清晰地理解。一、数据准备首先准备单词统计文本：我们选择的是/etc/passwd文件做测试，为了避免误操作，我们将/etc/paswd下内容先进行备份。cat /etc/passwd > ./test.txt应用cat命令查看文本内容：可以看到文件内容格式复杂，冒号，斜杠，横杠，空格 等分割符为单...
2018-09-17 17:41:23
1527
原创 图&文 线性回归与梯度下降
前言在机器学习领域，梯度下降法作为基础优化算法，在该领域具有较多的应用，而如何理解梯度下降法是引起初学者困惑的来源之一。本文通过图片阐述，公式推导等，从个人角度描述什么是梯度下降法。并通过梯度下降方法解释线性回归算法的参数收敛情况。向量与方向：在生活中，我们时常提到方向一词，如去东南方向，西北方向等。而描述方向我们通常用东南西北将我们要去的位置进行标记，而我们走去...
2018-08-29 15:16:10
1038
原创 由均匀随机数发生器1-7生产出1-10
前提：假设我们拥有一个随机数发生器rand7均匀产生1-7之间随机整数，如何构造rand10均匀产生1-10之间的整数。 分析：由于rand7是均匀产生，因此由均匀分布的概念来说，产生1-7之间的概率是相同的分别是1/7，因此在该条件下，为了满足计算需要可以适当丢弃1-7之间的数字，而不会影响其他数字获取的概率。 假设：rand7由该函数生成：//生成1-7之间的随机数in...
2018-08-24 14:40:01
4612
5
原创 VMware三种网络方式原理简介
简介：对于计算机初学者来说，在真正拥有自己服务器之前，安装一款合适的虚拟环境能够起到很好的过渡作用，并且虚拟环境在很大程度上也满足用户的实践功能。而在操纵虚拟机的过程中时常也会碰到虚拟机与pc机之间的网络连接关系。本篇简单介绍VMware的三种联网方式：桥接（Brigde），网络地址转换（NAT），私有网络主机（Host - Only）。 一、桥接（Brigde）所谓...
2018-08-15 18:03:02
557
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人