排序:
默认
按更新时间
按访问量

Kafka Connect 出现ERROR Failed to flush WorkerSourceTask{id=local-file-source-0}, timed out while wait

在官网第七步 Step 7: 使用 Kafka Connect 来 导入/导出 数据 从控制台写入和写回数据是一个方便的开始,但你可能想要从其他来源导入或导出数据到其他系统。对于大多数系统,可以使用kafka Connect,而不需要编写自定义集成代码。 Kafka Connect是导入和导...

2018-11-07 15:05:39

阅读数:38

评论数:0

flume、kafka、avro组成的消息系统

利用apache flume和Apache kafka(依赖zookeeper)完成一个消息系统,具体消息传递:kafka-->flume A-->flume B-->kafka。将数据通过flume进程A从kafka集群中读取,通...

2018-11-06 13:41:27

阅读数:27

评论数:0

Java23种设计模式总结【转载】

总体来说设计模式分为三大类: 创建型模式,共五种:工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。 结构型模式,共七种:适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。 行为型模式,共十一种:策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命...

2018-09-05 10:33:28

阅读数:131

评论数:0

Java编程 思维导图

最近又学习了一遍Java,用思维导图记录下学习内容。 学习的路还很漫长!!!! 思维导图github:https://github.com/HeCCXX/java-mindmap

2018-07-29 21:49:04

阅读数:63

评论数:0

人工神经网络(ANN)BP算法应用(手写体数字识别部分代码)

人工神经网络在热门的人工智能领域有着很多很好的应用。 在网上也有很多优秀的文章阐述人工神经网络的原理和应用,可以参考以下优秀的文章。 https://blog.csdn.net/leiting_imecas/article/details/60463897 https://blog.csdn...

2018-07-18 21:12:02

阅读数:135

评论数:0

利用sklearn中 ID3算法实现简单的课程销量预测+决策树可视化

决策树中ID3算法是一种贪心算法,用来构造决策树。ID3算法主要用到每个属性的信息增益,使用到信息熵。ID3算法计算每个属性的信息增益,并选取具有最高增益的属性作为给定集合的测试属性。对被选取的测试属性创建一个节点,并以该节点的属性标记,对该属性的每个值创建一个分支据此划分样本. 信息熵从通俗易...

2018-07-15 17:01:07

阅读数:77

评论数:0

GPA、成绩、学校排名对录取情况的逻辑回归简单例子

admit、GPA、grade、rank分别代表录取情况、绩点、成绩、学校排名,此次利用sklearn库进行逻辑回归的简单训练。进行筛选主要特征值,模型准确率。 import pandas as pda from sklearn.linear_model import LogisticRe...

2018-06-06 22:29:09

阅读数:102

评论数:0

利用贝叶斯算法实现手写体识别

之前记录过利用knn实现手写体识别。现在记录一下利用贝叶斯算法实现,训练数据和测试数据和knn的一样。 首先了解贝叶斯理论知识。 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法。   那么既...

2018-06-06 21:37:30

阅读数:442

评论数:0

【剑指Offer学习】【所有面试题汇总】

剑指Offer学习所有代码下载【https://github.com/Wang-Jun-Chao/coding-interviews】目录第01-10题【剑指Offer学习】【面试题02:实现Singleton 模式——七种实现方式】【剑指Offer学习】【面试题03:二维数组中的查找】【剑指Of...

2018-06-05 14:35:10

阅读数:84

评论数:1

编写knn算法实现手写体识别

  一、首先学习学习knn算法。 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时,只与极少量...

2018-05-16 22:15:54

阅读数:154

评论数:0

python+jieba+tfidf算法 文本相似度

jieba是python第三方库,用于自然语言处理,对文本进行分词,当然也有其他的分词库。gensim库,利用TFIDF算法来进行文本相似度计算,通过利用gensim库的corpora,models,similarities处理后续。基本思路:jieba进行分词,整理为指定格式-&...

2018-05-16 20:57:28

阅读数:2303

评论数:2

ubuntu hadoop2.x 伪分布部署及集群搭建(完全分布式)

在单机模式的基础上,完成伪分布部署!单机模式安装Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/had...

2018-05-11 21:36:50

阅读数:135

评论数:0

ubuntu16.04 +Java8+ hadoop2.x单机安装

关于hadoop及相关模块的安装,自己下载模块安装的话较为麻烦,有配置、版本对应的些许问题,使用cloudera集成好的平台也不错,但如果跑的任务多的话,机器配置要好一点,模糊的记得是最低需要8G内存?下面先记录下单机模式的安装。hadoop集群有三种启动模式:单机模式:默认情况下运行为一个单独机...

2018-05-11 00:06:44

阅读数:112

评论数:0

python pandas库的一些使用总结

pandas用于处理.csv  excel   html  文本等文件。在数据分析方面起到很大的作用。pandas.Series(数据,index=[])         索引数据,默认格式数字按序增加,可以自己设置index,为第一列的索引值。pandas.DataFrame()        ...

2018-05-01 15:35:06

阅读数:87

评论数:0

scrapy 当当网书籍信息爬取存储MySQL

这里使用到MySQL,对小白还算挺友好的。 当然还有其他数据库   redis、mongodb(非关系数据库) influxdb (时序数据库)一般用作监控框架,单机版免费,了解一下? 废话少说,开始正题. 1、先创建scrapy项目 scrapy startproject dang...

2018-04-30 15:14:21

阅读数:86

评论数:0

pymysql 中总结出来的一些问题

在这用到pymysql为例,其他的可作为参考。一、关于(1054, "Unknown column 'xxxxxxx' in 'field list'")如果你写的是下面这样的话,以后记住别这样写了:add_produto = "&qu...

2018-04-30 14:29:18

阅读数:271

评论数:0

python3 requests 12306下单环节

完成之前的登录,查票(城市编号转换之后),重头戏也是最复杂的环节来了,要完成下单,需要经过下列一系列验证,且均要通过验证,由此可见12306的反爬机制做的还是相当出色的。 1、检查用户是否保持登录成功     https://kyfw.12306.cn/otn/login/checkUser ...

2018-04-27 16:37:48

阅读数:1546

评论数:25

python3 requests 12306城市中文转英文编码

我们去买车票不可能输入城市的英文代码,我们都是输入城市的中文名称,然后直接查询,下单。所以我们需要将输入的中文名称转为服务器认识的英文编码。 https://kyfw.12306.cn/otn/leftTicket/init https://kyfw.12306.cn/otn/resource...

2018-04-27 15:26:05

阅读数:123

评论数:0

Python3 requests 12306查票模块

记之前的学习,再过一阵子估计忘了。。。 查票不需要登录,但是支付是需要登录的,所以人为操作的话,一般是选择查票->预定->下单(下单时需要登录,出现变态二维码验证)。而我们使用爬虫可以先登录,然后一直保持登录状态,流程:登录->查...

2018-04-27 15:04:03

阅读数:190

评论数:0

window10 +python3 + scrapy安装

依次执行下列: 1、安装wheel pip install wheel   2、安装lxml     下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml   pip install lxml-x.x.x-cp36-cp...

2018-04-25 21:21:54

阅读数:38

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭