- 博客(48)
- 收藏
- 关注
RSS订阅原创 更新调整说明
更新调整说明已经有好几个月没有更新了，目前正在积极准备公务员的考试，前段时间才把毕业论文搞定，所以可能在接下来的一个月还是不会更新内容，应该在考试完了后，可能就要捡回自己的老本行，哈哈哈。后面的更新计划：1.更新论文中用到的爬虫，爬取的是喜马拉雅FM页面数据2.可能会对前面的部分作品停止更新，可能更加偏向于完整的项目更新与介绍，这样可以避免留下不少坑，然后如果上岸了的话，可能就不会再怎么更新了。如果没上岸可能会从事的是数据分析的工作，以后更新也会更偏向于数据分析相关的。反正不管怎么样，冲冲冲！不
2020-11-05 16:37:30
922
原创 Davinci BI服务器配置相关问题汇总
写在开头：本次文章主要是把一些配置在服务器上的常见安装或者链接问题的解决方法的一个汇总，主要是笔者在实际工作中遇到的问题。服务器安装配置攻略Step1.通过ssh mingsee@192.168.x.xxx 登录服务器ubuntuStep2.安装docker以及docker-composehttps://blog.csdn.net/sky_817/article/details/90770065?utm_medium=distribute.pc_relevant.none-task-blog.
2020-08-03 14:44:54
847
2
原创 Davinci BI平台数据备份方案
写在开头：使用Davinci制作出dashboard后，如果出现docker损坏，或者转移机器的情况，应当保留哪部分的信息呢？这就是本文要说明的东西前言在本文中主要有两个解决方案，一个是手动备份，另一个是使用配置好的volume文件Davinci备份解决方案—手动备份与还原这个是davinci的备份方案，主要就是保留davinci自带mysql中的davinci0.3数据库就可以为了避免docker损坏使得之前在Davinci上做的dashboard和配置损失，故需要将Davinci数据配置到.
2020-08-03 14:26:51
1063
原创 Davinci使用教程（安装配置、绘图流程、权限设置）
写在开头：最近在公司一直在调研选用哪一个开源平台比较适合需求，从最开始的商业BI到开源BI，今天主要分享一下Davinci的相关安装与说明内容安排最近调研了几周的BI平台，商业平台调研了Tableau、帆软、powerBI等等数十种，发现还是弄开源的安全方便些，于是又对数十种开源BI进行调研，比如有superset、knowage这些，最后综合选定选择了Davinci是宜信开发的一款开源BI，今天就把整个的一个安装配置和操作流程放在这里供大家安装的时候借鉴。这里建议是使用docker进行安装，因为d.
2020-06-29 20:06:03
9720
2
原创 大数据分析技术之MapReduce实践：流量统计（十）
写在开头：今天主要写一下MapReduce在日志流量统计方面的实践，数据结构比较简单，主要是一个使用思路。学习内容安排今天我们将对用户使用流量数据进行分析，同样按照上一节的MapReduce计算流程来编写代码。在进行代码编写前我们首先来看一下数据的样子，以下数据均为虚构的，在上面的数据中可以看到第一列不太清楚是啥，第二列是手机号，第三四五列是访问的信息方面，后面的倒数第三与导数第二的数据就是本文今天最关注的上行流量与下行流量。今天的任务就是分别展示上下行流量并计算总流量。MapReduce之流.
2020-06-06 10:32:17
1394
原创 大数据分析技术之MapReduce实践：词频统计（九）
写在开头：目前已经陆陆续续搭建好了Linux、Hadoop相关的环境，可以开始一些简单的实例演示了。后面也会陆续更新这个系列了。学习内容安排本阶段学习内容的安排的话可能没有具体的内容规划，不会去涉及环境配置、软件安装的内容，主要是以介绍使用为主，以实例出发。大数据需要在Linux系统上进行，然后现在电脑使用的软件如下（部分软件由于学习原因选择的老版本），软件名称备注NetBeans IDE 8.2JAVA编译器CentOS 6.6Linux系统VMware Wo.
2020-06-05 10:49:36
5460
1
原创 大数据分析技术之JAVA基础（八）：泛型和集合函数
写在开头：由于泛型和集合函数没有太深究，此处就放两篇较好文章的链接供大家学习学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。泛型介绍这一篇详细讲解了Java的特性、使用包括泛型类、泛型接口、泛型方法等，详情点击查看文章。集合函数这一篇则是大致介绍了一下集合函数有哪些，不过具体的用法可以再重新查.
2020-06-05 08:18:21
283
原创 数据科学实战系列之ML-KNN（一）
写在开头：最近确实事情比较多，每天没有啥时间去学习其他的东西，也就没有时间来继续创作博客，不过最近学习了一些多标签分类的东西，并简单的实现了一下。内容安排对于多标签分类任务还有许多常见的方法比如ML-DT（决策树）、Rank-SVM等，由于ML-KNN沿袭KNN的思想比较容易上手，于是本文将对多标签分类任务中的ML-KNN算法进行简单的介绍，并通过代码进行实例操作，使用数据及为MULAN的eurlex-directory-codes（点击可下载）。1.ML-KNN算法简介ML-KNN的核心思想与.
2020-06-02 22:31:54
3896
原创 博客更新计划修改说明
写在开头：已经有接近一个月没有更新博客了，因为身边确实有很多事情耽误了，没有条件去学习去写博客，再加上最近找了份实习的工作所以要调整一下学习计划计划调整最近着实没有条件写博客导致博客的更新一直卡住了，不过在这个期间是完成了Hadoop在linux上的集群搭建，不过有机会会对Hadoop的操作使用进行更新的。因为后面也找了份实习，是做产品精算的，空余时间就不是那么多了，所以今天重新调整一下学习计划。目前还未完成的专题有1.大数据分析技术系列的JAVA泛型与集合函数；2.大数据分析技术系列的Hado.
2020-05-10 11:38:31
257
原创 机器学习推导+python实现（九）：线性支持向量机
写在开头：今天将跟着昨天的节奏来分享一下线性支持向量机，依然整体的代码风格会参考机器学习实验室的实现。内容安排线性回归（一）、逻辑回归（二）、K近邻（三）、决策树值ID3（四）、CART（五）、感知机（六）、神经网络（七）、线性可分支持向量机（八）、线性支持向量机（九）、线性不可分支持向量机（十）、朴素贝叶斯（十一）、Lasso回归（十二）、Ridge岭回归（十三）等。昨天再分享线性可分...
2020-04-16 23:08:12
1591
原创 机器学习推导+python实现（八）：线性可分支持向量机
写在开头：今天提前开始一下线性可分支持向量机的内容，因为最近在准备找实习，所以先来温习一下支持向量机方面的，后面再支持向量机完了后，可能会优先更新XGboost的内容，然后中间缺少的章节会在后面进行补充。本节代码的实现部分参考机器学习实验室内容安排线性回归（一）、逻辑回归（二）、K近邻（三）、决策树值ID3（四）、CART（五）、感知机（六）、神经网络（七）、线性可分支持向量机（八）、线性...
2020-04-14 23:26:57
2487
原创 机器学习推导+python实现（二）：逻辑回归
写在开头：今天开始逻辑回归的内容分享，仍然是参考学习公众号机器学习实验室的思路和内容，尽量在实现的环节多加一些自己的思考，吸收一下。内容安排线性回归（一）、逻辑回归（二）、K近邻（三）、决策树值ID3（四）、CART（五）、感知机（六）、神经网络（七）、线性可分支持向量机（八）、线性支持向量机（九）、线性不可分支持向量机（十）、朴素贝叶斯（十一）、Lasso回归（十二）、Ridge岭回归（...
2020-04-06 14:26:53
364
原创 大数据分析技术之JAVA基础（七）：IO和JDBC
写在开头：这个部分我们还是跟上上一节一样会更多的使用到NetBeans的可视化操作，主要文章以JDBC为主IO为辅。学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。七、IO和JDBC1....
2020-04-05 00:20:22
672
原创 深度学习日常发问（三）：激活函数性能对比
写在开头：今天主要分享一下对不同激活函数性能的理解，无大量案例支撑无专业性，仅当复习知识点。内容介绍在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。Q1：什么是激活函数？为什么需要激活函数？Q2：激活函数有哪些？Q3：这些激活函数之间图像有多大的差异？Q4：那么怎么来检验各个激活函数之间的性能呢？开始分享Q4：那么怎么来检验各个激活函数之间...
2020-04-03 17:01:27
3008
1
原创 深度学习日常发问（二）：初始激活函数
写在开头：今天主要分享一下对不同激活函数的理解，和代码结果的对比。内容介绍在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。Q1：什么是激活函数？为什么需要激活函数？Q2：激活函数有哪些？Q3：这些激活函数之间图像有多大的差异？Q4：那么怎么来检验各个激活函数之间的作用呢？开始分享既然本节内容是将激活函数的对比，那么本节首先就提个问什么是激活...
2020-04-03 10:48:47
779
原创 PyTorch实践系列（二）：GPU与CPU运行对比
写在开头：本节其实在学习了上一节的MNIST手写体分类后，自己又按照VGG的迷你版搭建了一遍网络，再运行的时候突然想到可以用GPU来跑，于是本节就GPU与CPU运算速度进行一个对比。内容安排今天主要是简单介绍一下VGG16网络架构还有如何将Torch代码放到GPU上运行，然后比较GPU与CPU运行的花费时间，因为采用的是MNIST数据集所以没办法搭建完整的VGG16网络，就按个迷你版的把。...
2020-04-01 11:26:40
11200
原创 python小练习之航空公司数据练习题（二）
写在开头：这一节的内容是根据家庭作业来的，我们会对家庭作业中的问题展开的进行代码的运行与讲解，然后将代码进行封装直接跑出所有程序，数据的话会放在百度网盘以供下载。航空公司数据匹配今天要完成的一个小任务就是利用pandas去匹配航空公司数据，会给定几个简单的题目，然后对每个任务分别进行完成。首先呢我们需要对数据的字符段进行说明。数据段说明变量名解释说明year、mon...
2020-03-30 22:14:57
4981
原创 大数据分析技术之JAVA基础（六）：组件和事件处理
写在开头：今天刚好学习了JAVA的组件与事件于是来简单的分享一下。就是简单的做着玩的。学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。六、组件和事件处理在编写之前呢，笔者推荐使用的Net...
2020-03-28 15:55:17
735
原创 深度学习日常发问（一）：优化方法之间的对比
写在开头：这里主要要记录在平时学习中遇到的一些问题与学习的一些东西，整体的风格按照参考文献的大佬进行。内容介绍今天主要对momentum、NesterovMomentum、AdaGrad、RMSprop以及Adam是什么进行讲解，并对这些和比较新的AdaBound算法结果进行对比，通常会使用梯度下降来得到神经网络的参数，但是有时为了加速优化收敛，需要使用优化方法。今天就将对笔者在最近学习深...
2020-03-26 23:54:15
1204
1
原创 机器学习推导+python实现（一）：线性回归
写在开头：这个系列的灵感已经整个系列的思路会根据公众号机器学习实验室的节奏进行，相当于做一个自己的理解版本，并且按照以往惯例我们会增加一些问题来对小细节进行讨论。内容安排笔者觉得如果单单的去调用sklearn库的机器学习的方法有些不妥，这个系列本应该在去年就开始了，但一直拖着没有更新。所以从今天开始我们一起来探究机器学习的乐趣吧。这个系列开始后，我们还会增加很多细节上的思考问题的讨论系列。...
2020-03-23 23:04:21
442
原创 深度学习系列之cs231n assignment1 two_layer_net（五）
写在开头：这次是完成assignmengt1的第四个作业浅层神经网络，通过这样的浅层神经网络来感受神经网络向前计算得分与向后计算梯度更新的过程。内容安排今天的任务主要是搭建两层全连接层，并在中间加入Relu的操作处理，最后使用softmax的损失函数进行梯度的更新，并进行预测。在本次的任务中与上一节softmax的区别在于搭建网络和全连接层的传递，任务的loss是softmax是一样的，同...
2020-03-22 23:50:45
1146
原创 PyTorch实践系列（一）：MNIST 手写体分类
其实我现在还不太懂PyTorch的过多操作，因为是先上手一个项目，那我就尽量将这个项目讲明白，讲不明白的我会在学习一段时间之后回来进行补充。内容安排本次内容我们通过使用PyTorch来进行MNIST手写体分类的一个CNN训练，因为今天花费了一些时间来安装这个PyTorch和TensorFlow，于是兴奋的开始了第一个项目，我们将一边运行代码一边解释的模式进行，在必要部分我们将认真的讲解一下...
2020-03-19 14:41:41
5861
8
原创 深度学习系列之cs231n assignment1 softmax（四）
写在开头：assignment对于softmax的作业对于svm差别就在于损失函数与梯度的差别，其余地方几乎是一样的，比如在预测的时候仍然选择得分对高的类，所以今天就来开始softmax部分的作业分享。内容安排今天主要会对softmax损失函数以及softmax求梯度进行讲解，然后通过编程来完成关于循环计算softmax loss function和向量计算loss function，然后...
2020-03-16 16:01:41
476
原创 大数据分析技术之JAVA基础（五续其他常用类）
写在开头：今天继续给大家分享关于JAVA的一些基础实用类。学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。五、异常类和常用实用类今天主要分享的类别有StringBuffer、Date、C...
2020-03-15 12:23:29
242
原创 深度学习系列之cs231n assignment1 svm（三）
写在开头：终于又copy完了大佬的svm的作业，该由我抄过来了，我在响应的位置会附上讲得比较好的大佬的链接，感谢他们。最近面临找实习，这个就业压力还是挺大，自己又这么菜怎么办呢，还是得抽空抓好机器学习的功夫，然后再加点深度学习的框架和SQL以及Hadoop的学习应该就差不多了，所以在明年9月前，一定要把自己培养的至少能够在实习生中立足的水平。后面重新理一下计划，还有更新内容的形式。内容安排...
2020-03-14 00:02:28
634
原创 python小练习之多维叠加和统计分布（一）
写在开头：昨天晚上一位朋友突然问了我一个问题，想了许久终不得果，后来又想了许久想到了一个解决办法，但我猜测应该还有更好的办法来进行解决。多维累加和统计分布这个名字是笔者根据任务要求临时想的一个，下面我们首先来描述一下任务内容，任务目标：计算对一个数组，放回随机抽取n次，输出n次抽取的和的所有可能，已经统计所有和的出现次数与概率。举个小例子，我们对从0,1,2中抽取两次，来统计前后两次...
2020-03-12 14:59:29
1116
原创 JAVA小练习之英文文本词频统计（三）
写在开头：本次的小练习主要会运用一些字典的排序，由于对JAVA不是很熟悉，所以有的地方会不太能够解读，搜索了部分网上的资料。英文文本词频统计任务目标：统计英文文本中出现频率最高的5个单词，需要处理介词、时态和复数任务自述：这个任务首先需要对文本进行分隔，然后还需要处理介词时态和复数、并转化为字典进行统计，最后再排序输出，对于我这样的小白来说着实难度挺大的，不过今天死磕下来，查阅了不少小函...
2020-03-10 22:08:55
1162
原创 大数据分析技术之JAVA基础（五续正则表达式简单应用）
写在前面：今天接着分享JAVA中的实用类，本文的主要内容是对于正则表达式的一些简单操作的说明。学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。五、异常类和常用实用类3.正则式常用类正则...
2020-03-10 11:54:32
197
原创 JAVA小练习之二分法搜索数组（二）
写在开头：今天的小练习是在JAVA系列（一）中的小练习，为了方便寻找我将它单独列出来。二分法搜索数组任务目标：通过二分法来搜索数组查看目标值是否存在于数组之中。任务自述：当我们拿到任意一个一维数组，首先需要对其进行排序，然后再使用二分法，但是这里使用二分是将位置也就是index进行二分运算，因为是离散数组，如果对数值进行二分容易找不到数值。但对于数组的两端，目前我还没想到比较好的方法判断...
2020-03-09 10:09:17
400
原创 JAVA小练习之正则表达式匹配邮箱（一）
写在开头：这个系列主要是记录一下平时遇到的小练习这些，方便以后期末的时候复习哈哈哈。这个程序不一定最简单，也有可能有问题会不断的修改的。正则表达式匹配邮箱在网上我们可以看到很多正则表达式匹配邮箱的方法，昨天再上课后，老师留了个题目也就是这个，于是想了下在使用\w匹配符的基础上进行了改造，主要有以下几个点需要注意，1.开头结尾需要时标识符；2.@前后两位需要时标识符；3.不能连续出现多...
2020-03-09 10:01:34
1574
原创 大数据分析技术之JAVA基础（五）：异常类与常用类
写在前面：今天继续分享JAVA后续的内容，可能最近对于JAVA的更新会更频繁一点，深度学习那边感觉数据加载还是有点问题，开始苦恼。在本文的最后附上了最近学习JAVA的参考文献电子版百度网盘下载地址。学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件...
2020-03-08 18:18:26
1199
原创 深度学习系列之cs231n assignment1 KNN（二）
写在前面：久经周折，终于能够将KNN系列给大家继续分享了，这次的内容来源于李飞飞教授团队的cs231n深度学习课程的作业1中的KNN研究，我会在全文我遇到困难的地方进行分享，以及一些想法。内容安排深度学习系列依托与cs231n的课程作业，因为只想练习编程，所以不对课程内容进行分享，仅针对编程内容进行分享。那么这一次的分享就是assignment1中K近邻分类器的使用，以及完成其中的四个问题...
2020-03-07 22:45:22
588
原创 大数据分析技术之JAVA基础（四）：继承
写在前面：这几天仍然课程很多，正在积极学习恢复更新，这里的类与对象会多分享几个小节学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。三、面向对象基础：类与对象和接口前面我们分享了如何来定义...
2020-03-04 23:14:46
276
原创 大数据分析技术之JAVA基础（三）：类与对象
写在前面：这几天在学习课程的东西就没能抽空出来写一些分享，今天讲一下面向对象的类与对象的相关内容学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。三、面向对象基础：类与对象和接口在本次分享...
2020-03-01 22:39:28
335
原创 深度学习系列之Numpy基础（一）
写在开头：因为也开始了深度学习课程的学习，对于很多东西还要慢慢理解，所以也打算开一个这个系列来分享一下自己的理解。深度学习系列对于本系列的学习内容安排的话，主要涉及的是对于图像识别方面的内容，或许我会在学完后在来写一个目录，今天的内容就是对于python中numpy使用的一些汇总，主要学习来源附在最后的参考文献。Numpy学习在使用Numpy之前，我们想进行一些矩阵运算往往只能通过一个...
2020-02-27 23:54:15
290
原创 大数据分析技术之JAVA基础（二）：运算符与结构控制
写在前面：今天继续分享一些JAVA的基础操作，这个系列主要是以代码为主体。学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（八）。二、运算符表达式和程序结构控制在本节的分享中，我们主要会简单说几...
2020-02-26 22:03:26
229
原创 暂停一下脚步，整体规划再出发
写在开头：最近开始线上开学，突然来的课程再加上自己还在外地，导致有点时间安排混乱。所以今天写这篇文章是想说一下在未来一段时间内如果更新博文，以及内容的调整。更新内容调整1.继续更新大数据分析技术之JAVA基础系列；2.开启爬虫技术相关学习；3.深度学习相关内容；4.机器学习相关内容；5.论文分析与讲解；大概会有这些板块，但是考虑到平时需要画时间来学习，所以尽量做到两天一更或者是一...
2020-02-25 21:31:14
177
2
原创 大数据分析技术之JAVA基础（一）：数据类型
写在前面：这几天开学了学校开了大数据课程，前期需要学习JAVA的基础，所以我打算开一个JAVA的学习系列，这个就当自己学习的一个记录，方便期末复习。学习内容安排JAVA基础课程学习：数据类型（一）、运算符表达式和程序结构控制（二）、面向对象基础：类与对象和接口（三）、面向对象基础：继承抽象多态封装（四）、异常类和常用实用类（五）、组件和事件处理（六）、IO和JDBC（七）、泛型和集合函数（...
2020-02-24 23:44:00
624
原创 python数据可视化之Seaborn（七|终）：FacetGrid与PairGrid操作
写在开头：今天分享的是关于FacetGrid与PairGrid绘制多结构绘图的内容，同样参考文献放置在本章的最后，这也是本系列的最后一节希望自己继续加油。前文回顾：第一节分享了Seaborn绘图的整体颜色与风格比例调控，可点击链接查看。python数据可视化之Seaborn（一）第二节分享了连续、分类、离散数据的绘图颜色的方法，可点击链接查看。python数据可视化之Seaborn（...
2020-02-23 23:05:28
3055
3
原创 python数据可视化之Seaborn（六）：回归数据可视化
写在开头：今天分享的是关于线性关系数据绘图的内容，学习链接同样放在后文。前文回顾：第一节分享了Seaborn绘图的整体颜色与风格比例调控，可点击链接查看。python数据可视化之Seaborn（一）第二节分享了连续、分类、离散数据的绘图颜色的方法，可点击链接查看。python数据可视化之Seaborn（二）第三节分享了对于数据分布的绘图方法，可点击链接查看。python数据可视化...
2020-02-22 23:32:18
4667
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人