- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark实战项目2-电商分析平台
概述这是关于spark的一个稍微复杂的一个Demo,通过对一个电商网站模拟数据的处理，来加深spark的应用。首先产生模拟数据，模拟数据分为本地数据和实时数据，后续的分析针对这两种不同的数据有着不同的操作。总共有十多个小需求，通过对数据进行分析，产生结果后存储进Mysql数据库。数据的整体流向如下所示：模块该项目总体模块有2个:离线统计和实时统计。离线统计针对本地数据作出一系列的分析，实时...
2020-02-20 22:46:41
1011
1
原创 Spark实战项目1-模拟网站流量分析与展示
Spark实战项目1-模拟网站流量分析与展示1、概述2、流程2.1、数据生成2.2、启动环境与创建Hbase表2.3、创建kafka的topic2.4、启动Flume2.5、创建Spark Streaming 项目2.6、创建S1、概述这是在学习spark过程中写的一个小Demo。使用python来生成模拟网站访问的日志，通过Spark Streaming对日志经过分析，然后存储进Hbase中...
2019-12-25 20:38:11
1057
原创 Linux 安装jdk和hadoop
安装jdk在opt文件下先创建相关目录cd /optsudo mkdir software #这是普通用户需加上sudo,software用于存放安装文件sudo mkdir module #module用于具体安装 sudo chown test:test module/ software/ #修改两个目录的所有者然后将...
2019-08-28 20:49:36
322
原创 VMware centos6.10设置静态网络，克隆虚拟机
将centos的语言设置为中文我安装的为 centos6.10 虚拟机，安装过程的话十分简单，网上的教程也有很多，自己可以去寻找。为了方便，第一步将centos的语言环境切换为中文吧。登录进centos后，打开终端，切换为root用户，输入密码。su root然后编辑 /etc/sysconfig/i18n 文件vim /etc/sysconfig/i18n将LANG的值改为zh...
2019-08-28 17:28:58
213
原创 使用BERT fine-tuning 用于推特情感分析
BERT 有多厉害我就在这不用讲了，我也不想过多介绍，因为自己也是一个初学者。网上有很多好的介绍与资料，读完让人受益匪浅。这篇博客记录的是我前几天使用bert做的一个小测试，用bert用于推特的情感分析。因为这段时间参加某个比赛要用到，但是没办法一直全身心的投入，总是有各种事情打断，让我很苦恼。怕以后突然想起来，又忘记怎么做了，所以写下了，供以后参考。 情感分类觉得是自...
2019-04-10 11:08:59
6893
6
原创 循环神经网络个人笔记
循环神经网络(RNN)是另一种比较流行的神经网络，它对文本方面的应用表现非常敏感。一开始看的是吴恩达老师的视频课，但是发现看了一段时间后还是非常的模糊。偶然看到台湾大学李宏毅教授的上课视频，感觉讲的通俗易懂，豁然开朗。依据老师的上课资料与视频写下自己的笔记，加深一下印象。1Example Application 老师先用一个Slot Filling 的例子，即输...
2018-11-22 20:28:26
217
1
原创 卷积神经网络个人笔记(一)
这是本人在观看吴恩达老师的关于深度学习课程所作的个人笔记。在上完机器学习的网课后，就立马着手学习深度学习相关的知识。这篇是关于卷积神经网络的笔记，参考黄海广博士的相关笔记。1 边缘检测(基本卷积运算) 卷积计算是卷积神经网络中最基本的部分。卷积神经网络在计算机视觉方面有着很好的效果。吴恩达老师从边缘检测开始讲解使大家理解卷积计算。给定一张图片，要计算机判断图片里有...
2018-11-15 23:02:12
945
原创 吴恩达机器学习个人笔记(九)-异常检测
异常检测也属于无监督学习,但是看起来又有点像是监督学习，其实异常检测依靠个人理解为如果有一堆数据聚集在一个范围内，这个范围内的数据都为正常(相比较与异常)，如果新输入一个数据，即要检测该数据是否处于该范围内。属于正常的数据或者异常，所以叫做异常检测。1 问题的动机(Problem Motivation) 什么是异常检测(Anomaly detection）,吴恩达老师...
2018-11-15 16:31:16
332
原创 吴恩达机器学习个人笔记(八)-降维
1降维的目的 降维是第二种机器学习算法。降维可以进行数据压缩，因而使用较少的计算机内存或磁盘空间。可以是让我们的机器学习算法运行速度变快。什么是降维？就是将数据降低维度，2维的变为1维，机器学习中有些数据集的数据的特征数量为1000多个，那么可以使用降维将数据的特征数目降低，从而使机器学习算法运行速度加快。举个例子我们收集的数据集，有很多特征 ...
2018-10-21 22:06:36
356
原创 吴恩达机器学习个人笔记(七)-聚类
聚类属于无监督学习。在之前的学习中，都是监督学习。监督学习与无监督学习的最大区别为训练数据集的特点，在监督学习中，训练集是有标签的，我们根据这些有标签的数据，训练出模型，输出相应的值。而在无监督学习中，我们的数据集没有标签，我们需要使用机器学习算法寻找出数据集中的内在结构。无监督学习的数据集如下所示 ...
2018-10-21 11:25:10
363
原创 吴恩达机器学习个人笔记(六)-支持向量机
很早就听过支持向量机(SVM)这个算法的大名了,通过这周的学习了解大概是什么样子。吴恩达老师也说过这是最后一个详细讲解的算法了。支持向量机也是用于分类问题，并且多用于构建那种非线性模型进行分类，效果比较好。1优化目标 与逻辑回归和神经网络进行相比，支持向量机也就是svm, 在学习复杂的非线性方程时提供一种更为清晰，强大的方式。如之前的各种算法（线性回归、逻辑回归等）我...
2018-10-18 22:25:47
245
原创 吴恩达机器学习个人笔记(五)-关于机器学习的误差分析
1关于机器学习的改进 当我们使用机器学习算法解决实际问题时，可能在得到学习参数后，输入新的数据后效果不是很理想。即运用训练好了的模型来预测未知数据时发现了较大的误差。那么我们可以采用下面的方法来提高机器学习算法的性能。 1.获取更多的训练样本 2. 尝试减少特征的数量 3.尝试获的更多的特征 4. 尝...
2018-10-16 20:45:43
1192
原创 吴恩达机器学习个人笔记(四)-神经网络的学习
1 代价函数 一开始先引入神经网络的新标记方法: 若神经网络的样本有m个，每个包含一组输入和一组输出信号,例如下列方式 其中和 都可能为向量。表示为神经网络的层数，表示为层神经网络的神经元数，不包括该层的偏差单元神经网络的分类可以定义为两种情况:二类分类和多类分类。二类分类时，输出层只有一个单元即 ,表示为输出信号，K类分类即多类分类时 ,表示为分到第 类(K>2)这两...
2018-10-11 11:53:19
288
原创 吴恩达机器学习个人笔记(三)-关于神经网络
1非线性假设(Non-linear Hypotheses) 之前学习的线性回归和逻辑回归都是线性的模型，并且它的的特征都不会太多，这也是它们的缺点,就是如果训练集的特征太多的话，那么计算效率就不好。如下面的例子 如果我们使用逻辑回归进行分类的话，假设有非常多的特征。例如大于100个变量，希望用这些特征构建一个非线性的多项式模型，那么...
2018-10-04 20:57:22
274
原创 吴恩达机器学习个人笔记(二)-逻辑回归
第一部分讲是线性回归，其大致目的是根据训练数据得到模型，再输入新的数据后得到预测的值，该值为一个连续值。而逻辑回归于线性回归其实并没有太大的区别，只不过逻辑回归是用于分类问题，二元分类居多，它对应训练数据中的结果值往往为 0或1。1假说表示(Hypothesis Representation) 在分类问题中，我们要预测的是离散的值，预测的结果是属于哪个类(例如正...
2018-10-01 23:06:04
255
原创 吴恩达机器学习个人笔记(一)-线性回归
1单变量线性回归(Linear Regression with One Variable)1.1 假设方程(Hypothesis) 线性回归属于监督学习，大致是根据给定的数据集训练出一个线性模型，构造成功后，输入一个新的数据后，会输出一个确却的值。比如预测一个地区的房价，给定一个数据集包含房子的大小和房价，当需要预测一个房子的价格时，模型就会预测出一个确却的值。回归一词指的是，...
2018-09-29 10:36:08
1065
原创 字符串分类-java
晚上刷复试机试题，刚刷到一个题目，特此记录。觉得题目还行，就怕到时上机会没有时间。具体题目如下。 输入一个字符串，要求输出能把所有的小写字符放前面，大写字符放中间，数字放后面，并且中间用空格隔开，如果同种类字符间有不同种类的字符，输出后也要用字符隔开。 例：输入 12abc3KF12 输出 abc KF 12 3 12 输入 rwr21r3hel...
2018-03-19 22:33:32
526
原创 java 将sql server的数据显示在JTable上
SQL Server数据库中的表如下图1所示，表名为stu_info 图1 表stu_Info上篇已讲连接SQL server，这里不再赘述。我们直接上代码，有详细注释应该很容易p...
2018-03-16 12:05:52
6251
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人