豪气冲天

昨天在linux系统中训练数据时，训练到最后一步了，发现总是卡在那里，最后出现killed的信息，本来以为是代码有问题，后面发现是程序被系统给 kill 了，原因是内存不足。这是因为Linux 内核有个机制叫OOM killer(Out Of Memory killer)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，然后防止内存耗尽而自动把该进程杀掉。为了解决这个问题，我选择将占用内存较大的且不需要的进程给kill掉，将内存释放。查看系统日志，可以看到被kill掉的进程的信息..

前言1、首先要了解三层架构：表现层：是用于展示数据的业务层：是处理业务需求的持久层：适合数据库交互的2、持久层技术解决方案： JDBC技术：Connection PrepareStatement ResultSet 这个是规范，不是框架 Spring的JdbcTemplate: spring中对jdbc的简单封装 只是工具类，也不是框架 Apache的DBUtils：它和spring的JdbcTemplate很像，也是对jdbc的简单封装...

最近一直在刷oj，发现自己对一些字符串的处理显得太过麻烦了，比如数字转字符串、字符串拼接等等。虽然知道C语言有专门的函数可以直接进行调用，但我以前用的比较少所以并没有记住函数名以及如何使用这些函数，在这次刷oj的过程中，终于有机会对其进行学习使用,下面是一些我在刷题过程中所遇到而使用的函数。使用这些函数，需要包含一个头文件：#include <string.h>1、获取字符...

在学数据结构的时候就学到过 Hash 存储，在 java 中使用数组时也听过 HashMap 这种数据结构，但是对于 HashMap 怎样用就不会了。以前感觉 HashMap 应该好难用，有数组就够了，干嘛非得用这个结构。。。在这次实习后，我大大改变了自己的看法，在某些需求下， HashMap 太好用了！！HashMap 是基于哈希表的 Map 接口的实现，它是一个散列表，它存储的内容是键值...

MapReduce 是在实习阶段学习 Hadoop 的时候接触的（有关hadoop的可以看我博客中的其他文章），用来清洗数据时使用到，当然了也可以用在其他方面。在学之前觉得会有点难度，担心学不会且不会使用，但是学完后发现其实并不难，其思想和编程方法也就那样，懂了一个就会了。下面就跟我一起来看看到底 MapReduce 是什么以及如何进行编程吧。目录一、MapReduce的思想二、Map...

以前刚学 java 的时候对 List 列表没有认真学习，再加上后期没有怎么用就没有去研究，但是在后面写 java web 的时候遇到有关 List 的一点问题，那时候也是靠着百度解决问题，但是还是没有弄清楚 List 是怎样的。还好这次实习的时候认真的对 List 学习了一下，不敢说彻底明白了它的机制和用法，但至少遇到相关的需求可以使用 List 完成。List 是一个集合，但是可以包含相同...

在 linux 上我们可以通过命令对 hdfs 中的文件及文件目录进行处理，但是在 Windows 上编写代码时需要用到 hdfs 时该如何处理呢？其实 hdfs 也是可以部署在 Windows 系统上的，但是考虑到稳定性一般通常是部署在 linux 系统上，同时由于 hadoop2 和 hadoop3 的版本不同，导致其自身的功能上有些不同，其中 hadoop2 无法直接在页面上进行对文件的...

我所安装的是hadoop-3.2.0，安装包链接在下方，可自取。链接：https://pan.baidu.com/s/1o81ZThq7Juw7h8LglAZIfg提取码：pgvm预操作首先，在安装Hadoop之前要进行的一个操作是关闭防火墙。关闭系统防火墙:systemctl stop firewalldsystemctl disable firewalld...

实习一个月，学的是有关大数据方面的东西，其中主要学习的是 Hadoop ，学的也没有太深入，现在只是将自己所学以及所理解的在这里写出来。先给大家推荐一篇我写的在 Windows 系统上编写代码对 linux 中的 hdfs 的文件进行处理的代码，其实也可以用于对 Windows 上部署的 hdfs 进行操作，代码所实现的功能其实跟本篇文章最后所讲的 hdfs 的命令相同。网址...

XPath是XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的计算机语言。XPath可以用来在xml文档中对元素和属性进行遍历。利用XPath，我们可以先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。在爬虫中使用XPath可以快速查找到你想要的内容。XPath的开发工具也有不少，我用的是以下两个，分别是Chro...

微信是腾讯于2011年1月21日推出的一款支持安卓以及iOS等主流操作系统的即时通信软件，其面对智能手机用户。用户可以透过客户端与好友分享文字、图片以及贴图，并支持分组聊天和语音、视讯对讲功能、广播（一对多）消息、照片/视讯共享、位置共享、消息交流联系、微信支付、理财通，游戏等服务。微信作为目前最大的社交软件之一，每个月有近十亿的用户保存活跃，每天有四百五十亿次消息发送出去。微信群作为微信...

Numpy函数1、生成一个MN的正态分布2、生成随机浮点数3、指定起始值和元素个数，生成以为等差数列4、产生随机的小数多维数组5、产生多维的整数随机数组6、产生随机整数字典：1将列表转化为字典的方法2按key或者value排序split()函数：进行切片操作csv文件：将数据写入csv文件中：写...

在机器学习中，朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类照片器。朴素贝叶斯算法其实就是根据数学中的贝叶斯公式来进行计算概率，在通过概率来进行分类。使用这个算法需要大量的训练集当做支撑，这些训练集需要人工进行分类，训练集的数目越多，分类越准确，最后得到的结果按道理来说也越准确，但是有些可能还是会存在一些误差，下面我们就来看看这朴素贝叶斯算法到底是这样的。...

 贝叶斯公式定理贝叶斯的英文概率论中的一个定理，跟它随机变量的条件概率以及边缘概率分布有关。下面是贝叶斯的公式：其中P（A | B）。是指在事件乙发生的情况下事件甲发生的概率其中甲代表的是所属的类别（Y），B代表的是特征（x）的在贝叶斯定理中，每个名词都有约定俗成的名称：P（A | B）是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。 P（A）是A...

情感分析是指挖掘文本表达的观点，识别主体对某客体的评价是褒还是贬，褒贬根据进态度行倾向性研究。文本情感分析可以分为基于机器学习的情感分类方法和基于语义理解的情感分析。基于机器学习进行语义分析的话需要大量的训练集，同时需要人工对其进行分类标注。我所使用的方法是基于语义理解中的使用情感词典进行情感态度分析。下面是我所使用的情感词典：链接：HTTPS：//pan.baidu.com/s/1xC...

用python写一个微信聊天机器人可以利用python中的wxpy库或者itchat模块，我在网上看到好多都是使用的itchat，但是我这里使用的是wxpy库，wxpy 在 itchat 的基础上，通过大量接口优化提升了模块的易用性，并进行丰富的功能扩展。使用wxpy这个库可以做好多好多事，比如自动恢复消息、跟人聊天、自动加人啊等等等等，这些都可以在wxpy这个文档中找到使用方法的！！！我做的主要...

一、python机器学习库       scikit-learn。sklearn是一个Python第三方提供的非常强力的机器学习库，它包含了从数据预处理到训练模型的各个方面。在实战使用scikit-learn中可以极大的节省我们编写代码的时间以及减少我们的代码量，使我们有更多的精力去分析数据分布，调整模型和修改超参。sklearn基本包含了所有机器学习的方式，如Classification...

  一、机器学习中分类与预测算法评估           1、准确率            2、速度            3、强壮性            4、可规模性            5、可解释性        在机器学习算法当中、评价一个算法的好坏或者比较两个算法的优劣，主要以上5个方面进行评估。首先准确率是指算法分类或者预测的准确程度，这是个非常重要的标准，而...

HTML标签标题（Heading）是通过&lt;h1&gt; - &lt;h6&gt; 标签来定义的. ------&lt;h1&gt;这是一个标题&lt;/h1&gt;                                                                                                   &lt;h2&gt;这是...

特征提取：sklearn.feature_extraction.DictVectorizer(dtype=&lt;class 'numpy.float64'&gt;,separator='=',sparse=True,sort=True)将&lt;特征-值&gt;映射转化为向量。字典类型的对象转化为numpy.array或者scipy.sparse特征值为string类型时，向量表示为on...