zjcRun-CSDN博客

原创 Spark集群部署在Linux上

Spark集群部署1 前提条件部署三台Hadoop集群，版本要求是2.6.02 Spark部署要求spark-2.3.2-bin-hadoop2.6scala安装包：3 Scala安装下载安装包wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz解压安装：tar –zxvf...

2019-07-30 18:04:24 532

原创 Python 中UnicodeDecodeError: 'utf8' codec can't decode byte 0xbd in position 162: invalid start byte

错误问题：UnicodeDecodeError: 'utf8' codec can't decode byte 0xbd in position 162: invalid start byte错误背景：在通过wxpython进行界面Text文本框显示文本内容。错误原因：编码错误，文本中存在中文，导致界面显示出错。解决办法：对读取的文本内容进行重新decode（‘gbk’）cont...

2019-06-20 11:52:39 2286

原创通过mpl_finance画股票的K线图

股票的数据一般包含五个字段：时间（可以精确到秒）、开盘价格、最高价格、最低价格、收盘价格，而如何将上述四个字段的值展现在图表上呢，这里介绍一下mpl_finance包，该包是从matlablib衍生而来的。画K线图，需要介绍该包的两个常用的函数：candlestick_ochl()和candlestick_ohlc()，样子很相似，通过分析源码，可以看到这两个包的不同点：def cand...

2019-05-29 19:31:42 5236

原创 ValueError matplotlib display text must have all code points 128 or use Unicode strings

错误问题：ValueError: matplotlib display text must have all code points < 128 or use Unicode strings错误原因：在使用matplotlib进行图表展示时，如果需要在图表上添加中文，可能会报字符类型的值错误。解决办法：重新调用系统，修改默认的字符类型。 i...

2019-05-16 21:18:29 4644

原创 GraphViz’s 未能找到错误

错误描述：InvocationException: GraphViz’s executables not found原因分析：上述是在运行决策树分类算法时出现的错误，在调用GraphViz进行图片生成pdf时报错。原因主要有以下两点： 1、没有安装GraphViz; 2、安装后，没有把安装的bin路径加入到环境变量pa...

2019-05-16 21:09:27 809

原创 Hadoop集群部署及可疑问题解读

Hadoop集群安装*由于自己在部署Hadoop集群学习的道路上也碰到一些问题，特意以博客的方式给需要的朋友一点实质性的萤火。整个集群安装主要以以下几个步骤呈现：Hadoop集群知识的相关了解集群部署所需要的软件详细的步骤以及中间穿插可能碰到的问题环境的测试总结Hadoop集群相关了解Hadoop集群现在已经很普及了，详细的介绍有很多，我这里就不累赘的说明了，未使用的初学者最...

2018-11-18 00:25:12 165

原创机器学习实战解读-K近邻算法

机器学习实战解读-K近邻算法K-近邻算法是属于监督学习，对类别分类样本数据比较苛刻，需要比较准确且有一定量的样本数据作为分类的基础。具体主要包括以下内容：K-近邻算法介绍数据选择及处理算法知识点源码编写与测试应用环境介绍优缺点总结K-近邻算法介绍 k-近邻算法是采用测量不同特征值之间的距离来进行分类的算法K-近邻算法是属于监督分类，需要精确的样本数据进行...

2018-08-13 21:46:21 433

原创中文分词分析之PDF批量转化为文本

中文分词分析之PDF批量转化为文本本篇文章主要是介绍批量将PDF文件转化为文本。这是中文分词分析的前奏部分。Python解析PDF文件需要的模块包是pdfminer，可以通过pip install pdfminer进行安装。下面主要介绍解析的主要步骤1、具体需要的模块导入#!/usr/bin/python#-*- coding: utf-8 -*-import osimport sysf

2017-10-12 00:14:30 2158 8