Python解决matplotlib画图中文显示异常问题

1、安装开源库pyplotz pip install pyplotz 2、引入包 from pyplotz.pyplotz import PyplotZ from pyplotz.pyplotz import plt pltz=PyplotZ() pltz.enable_chinese(...

2018-11-05 21:10:25

阅读数 43

评论数 0

Spark的reduceByKey和reduce

reduce的操作对象是列表。 如rdd={1,2,3,3} rdd.reduce((x,y)=> x+y)得到结果是:9 reduceByKey()的操作对象是元组。 如 rdd1={('panda',3),('pink',4)},rdd2={('panda',(3...

2018-10-16 23:38:16

阅读数 220

评论数 0

二、TopN问题解决方案

1、使用hadoop的map/reduce解决TopN问题(唯一键) 首先使用SequenceFileWriterForTopN函数生成sequence文件, SequenceFileWriterForTopN函数代码如下: package chap03.mapreduce; import...

2018-01-03 22:11:43

阅读数 396

评论数 0

一、二次排序

1、软件版本jdkjdk1.7.0_67hadoophadoop-2.6.0sparkspark-1.4.0-bin-hadoop2.6分别下载上述源码,并进行配置,打开/etc/profile设置环境变量如下:#set java env export JAVA_HOME=/opt/java/jd...

2018-01-02 16:19:46

阅读数 464

评论数 0

python数据分析(预测性分析与机器学习)

本文涉及到的主题如下所示: 预处理基于逻辑回归的分类基于支持向量机的分类基于ElasticNetCV的回归分析支持向量回归基于相似性传播均值漂移算法遗传算法神经网络决策树算法

2017-12-06 14:04:03

阅读数 4320

评论数 1

python数据分析(分析文本数据和社交媒体)

1、安装NLTK pip install nltk 至此,我们的安装还未完成,还需要下载NLTK语料库,下载量非常大,大约有1.8GB。可以直接运行代码下载、代码如下: import nltk nltk.download()这样可以直接下载NLTK语料库了。 2、滤除停用词、姓名和数字

2017-12-04 10:24:34

阅读数 7164

评论数 0

python数据分析(应用数据库)

本文介绍主题如下: 基于sqlite3的轻量级访问通过pandas访问数据库SQLAlchemy的安装与配置通过SQLAlchemy填充数据库通过SQLAlchemy查询数据库Pony ORMDataset:懒人数据库PyMongo与MongoDB利用Redis存储数据Apache Ca...

2017-11-29 19:27:43

阅读数 1313

评论数 0

python数据分析(数据可视化)

数据分析初始阶段,通常都要进行可视化处理。数据可视化旨在直观展示信息的分析结果和构思,令某些抽象数据具象化,这些抽象数据包括数据测量单位的性质或数量。本章用的程序库matplotlib是建立在Numpy之上的一个Python图库,它提供了一个面向对象的API和一个过程式类的MATLAB API,他...

2017-11-28 10:12:13

阅读数 4847

评论数 1

python数据分析(数据检索、加工与存储)

1、利用numpy和pandas对CSV文件进行写操作。 a):numpy的savetxt()函数是与loadtxt()相对应的一个函数,它能以诸如CSV之类的区隔型文件格式保存数组。 代码: import numpy as np np.random.seed(42) a=np.random...

2017-11-23 14:25:53

阅读数 217

评论数 0

python数据分析(pandas入门)

1、pandas数据结构之DataFrame DataFrame生成方式:1、从另一个DataFrame创建。2、从具有二维形状的NumPy数组或数组的复合结构生成。3、使用Series创建。4、从CSV之类文件生成。下面介绍DataFrame的简单用法: a):读取文件 代码: from p...

2017-11-21 14:58:38

阅读数 3055

评论数 0

python数据分析(统计学和线性代数)

1、求矩阵的逆 代码 #coding:utf8 import numpy as np A=np.mat("2 3 4; 4 2 6;10 -4 18") print "A\n",A inverse=np.linalg.inv(A) #求矩阵的逆 prin...

2017-11-19 14:58:49

阅读数 422

评论数 0

LinkedList+HashMap实现LRU算法

package Interview; import java.util.HashMap; import java.util.Map; /* * 实现最近最少使用算法,且get,put时间复杂度为O(1) * */ public class LRUCache { private Map...

2017-08-15 21:30:34

阅读数 177

评论数 0

排序算法

插入排序 public static int helperSort(int[]nums,int left,int right){ int tem=nums[left]; while(left<right){ while(left=tem) right--; nu...

2017-07-24 21:54:05

阅读数 136

评论数 0

树的遍历(前序,中序,后续,栈与递归实现)

树的定义 public class TreeNode { public TreeNode left; public TreeNode right; public int val; public TreeNode(int val){ this.val=val; this.left=...

2017-07-24 21:50:20

阅读数 178

评论数 0

Spark机器学习(Chapter 04)推荐系统

代码: #coding:utf-8 from pyspark import SparkContext sc = SparkContext("local[4]", "MovieLens Spark App") rawData=sc.textFile(&qu...

2017-06-26 22:42:19

阅读数 245

评论数 0

spark机器学习(Chapter 03)--使用spark-python进行数据预处理和特征提取

1、首先需要准备MovieLens数据集,并查看数据基本情况 数据主要包含3个数据集:u.data,是用户对电影的评分数据,u.item是电影的基本数据,u.user是用户的基本数据。 2、数据分析及可视化表示 2.1用户数据分析及可视化 对用户数据进行基本统计如下: #coding:u...

2017-06-24 23:03:03

阅读数 1444

评论数 0

spark机器学习(Chapter 01)

代码: #coding:utf-8 from pyspark import SparkContext sc=SparkContext("local[2]","First Spark App"); #将csv格式数据映射到record数组中,record[...

2017-06-23 20:14:04

阅读数 172

评论数 0

spark常用函数:transformation和action

1、RDD提供了两种类型的操作:transformation和action 所有的transformation都是采用的懒策略,如果只是将transformation提交是不会执行计算的,计算只有在action被提交的时候才被触发。 1)transformation操作:得到一个新的RDD,比...

2017-06-23 20:09:13

阅读数 218

评论数 0

最长子序列问题

1、最长递增子序列问题(可以不连续) a) .使用动态规划,时间复杂度为O(n*n)解法: public int lengthOfLIS(int[] nums) { if(nums.length==0) return 0; int[] dp=new int[n...

2017-06-14 11:15:41

阅读数 145

评论数 0

最长子序列回文问题,Longest Palindromic Subsequence

Given a string s, find the longest palindromic subsequence's length in s. You may assume that the maximum length of s is 1000. Example 1: Input: ...

2017-06-03 16:01:23

阅读数 181

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭