2017年09月_妄念驱动

10月 09月 08月 07月

原创 Spark-RDD笔记及集群作业实例

第一部分：RDD笔记定义：Resilient Distributed Dataset（弹性分布式数据集）RDD是Spark应用程序中的数据表示形式RDD是一种分布式的内存抽象RDD具有数据流模型的特点：自动容错、位置感知调度和可伸缩性RDD是只读的记录分区的集合，使得实现容错的开销很低RDD是高度受限的共享集合特性：分区（partition）：RDD的基本组成单位对于一个RDD，分

2017-09-26 22:18:14 321

原创 Spark安装及环境配置

往期博文讲过Hadoop集群的搭建，这次分享下Spark的安装和配置，Spark是基于Hadoop的大规模数据处理引擎。Spark的特点是基于内存的大数据综合处理框架，速度百倍于MapReduce适用于处理较多迭代次数的任务基于RDD（弹性分布式数据集）实现容错和并行提出了DAG（Directed Acyclic Graph有向无环图）支持多种语言的API（如Java、Scala、Pyth

2017-09-24 21:41:09 2599

原创 hadoop报错Name node is in safe mode

今天集群上操作出现如下错误：Cannot create directory /home/hduser/wordcount. Name node is in safe mode.安全模式。。翻了下资料，发现了解决方法在hadoop安装目录下执行如下命令bin/hadoop dfsadmin -safemode leave即可解除安全模式Safe mode is OFFsafemode模式NameN

2017-09-24 10:26:08 328

原创 XGBoost调参demo（Python）

XGBoost我们用的是保险公司的一份数据# 各种库import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LogisticRegressionfrom sklearn.ensemble import RandomForestClassifier

2017-09-22 16:32:19 4773 1

原创贝叶斯新闻分类demo（Python）

#pip install jiebaimport pandas as pdimport jieba数据源：http://www.sogou.com/labs/resource/ca.php df_news = pd.read_table('./data/val.txt',names=['category','theme','URL','content'],encoding='utf-8')df

2017-09-13 22:02:23 7418 3

原创贝叶斯拼写检查器(python)

import re, collectionsdef words(text): return re.findall('[a-z]+', text.lower()) def train(features): model = collections.defaultdict(lambda: 1) for f in features: model[f] += 1 ret

2017-09-13 15:10:55 1095

原创决策树demo（python）

%matplotlib inlineimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn.datasets.california_housing import fetch_california_housinghousing = fetch_california_housing()print(housing.DESCR)h

2017-09-13 12:23:29 1119

Logistic RegressionThe data我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。import numpy as

2017-09-12 21:41:11 5574 3

原创 Python-基于物品的协同过滤算法（附两种算法的对比）

与上一篇UserCF数据来源一致。先贴代码ItemCF：#coding=utf-8import mathclass ItemCF: def __init__(self,basefile,testfile): self.datafile = basefile self.testfile = testfile self.readData()

2017-09-10 19:32:59 2982

原创 Python-基于用户的协同过滤算法

数据来源：https://grouplens.org/datasets/movielens/#--------------------------------------------------------# Purpose: 基于已知的训练集，"测试集"中的user的item进行评分预测，并进行用户没有接触过的物品进行推荐.#---------------------------------

2017-09-09 19:18:39 2973 7

原创 python距离计算公式

import mathimport numpy as npfrom math import sqrtx = np.array([1,3,2])y = np.array([-2,1,-1])# 相似度def cosDis (vector1,vector2): num = 0.0 xdenom = 0.0 ydenom = 0.0 for i in range

2017-09-09 19:09:00 980

原创 Flume搭建测试

日志收集之Flumecase 1:1. wget http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz2. tar -zxvf apache-flume-1.6.0-bin.tar.gz3. mv apache-flume-1.6.0 flume4. cd confvi commands.c

2017-09-08 09:53:17 237

原创 Python爬虫实战（动态网页）

上一篇介绍了静态网页的爬虫，这次我们试试动态网页怎么爬取。#指定浏览器位置chrm = R"F:\Python\chromedriver_win32\chromedriver.exe"#爬取摘要、url等信息写入数据库import sqlite3#创建数据库db = R"E:\TencentNews.db"with sqlite3.connect(db) as conn: sql =

2017-09-07 16:44:16 634

原创 Python爬虫入门案例

免责声明：此案例为Python入门静态网页新闻爬取，未对目标网站进行大批量访问，不承担任何责任。写入数据库版本：import requestsfrom bs4 import BeautifulSoupimport numpy as npimport pandas as pdimport sqlalchemyimport pymysqlpymysql_engine = sqlalchemy

2017-09-06 21:50:27 340

原创 sqoop配置与简单应用

Sqoop = SQL- to-Hadoop，是易用、并行的导入导出工具。一. 安装1.1 安装并设置环境变量解压缩，重命名为sqoopsudo gedit /etc/profile文末添加安装路径，别忘了source一下export SQOOP_HOME=/home/hduser/sqoopexport PATH=$SQOOP_HOME/bin:$PATH1.2 修

2017-09-02 18:41:45 263

原创 Hbase安装及参数说明

1.启动hadoopstart-all.sh 2.获取并解压HBase安装包tar -zxvf hbase-0.98.9-hadoop2-bin.tar.gz cd hbase-0.98.9-hadoop23.配置conf中的文件（1）配置hbase-env.sh（修改下面环境语句的路径）export JAVA_HOME=/usr/local/java/jdk1.7.0_71/（2）配置hbas

2017-09-02 17:03:41 287

原创 Hive安装

#close firewall#ufw disable #mysql开启远程登录权限#bind-address= 127.0.0.1#解压hive-0.13.1-bin.tar.gztar xvzf hive-0.13.1-bin.tar.gz#修改目录名称为hivemv apache-hive-0.13.1-bin hive#设置环境变量sudo gedit /etc/profile

2017-09-02 11:46:17 191

原创招聘数据分析<三>

词云分析：############# 设置工作路径****## 请使用setwd函数，设置自己的工作路径，并将上述所提到的文件放到该工作路径下***## setwd(.....)## package: readxl 用于读取Excel文件## package: ggplot2 用于绘制各类图表## package: jiebaR 用于分词## package： wordcloud2 用于

2017-09-01 14:35:44 672

原创招聘数据分析<二>

回归分析：############# 设置工作路径****## 请使用setwd函数，设置自己的工作路径，并将上述所提到的文件放到该工作路径下***## setwd(.....)## package: ggplot2 用于绘制各类图表library(ggplot2)load("temp.rda") ## 调用描述性统计“descriptive statsics.R”的中间运行结果## 图片颜

2017-09-01 14:30:05 593

原创招聘数据分析<一>

描述性分析部分：rm(list = ls()) ## 清空工作目录############# 设置工作路径****## 使用setwd函数，设置自己的工作路径***## setwd(.....)## package: readxl 用于读取Excel文件## package: ggplot2 用于绘制各类图表## package: jiebaR 用于分词library(readxl)

2017-09-01 14:07:09 735

原创关联规则demo

library(arules) # association ruleslibrary(arulesViz) # data visualization of association ruleslibrary(RColorBrewer)groceries <- read.transactions("groceries.csv", format="basket", sep=",") summa

2017-09-01 13:50:33 494

原创数据预处理demo

R笔记：#step(1): Reading datatxt=readLines("Data_Hw2.txt") #readLines: when the rows in a data files are not uniformly formattedtxt#step(2):Selecting lines containing dataI=grepl("^//",txt)Idat=txt

2017-09-01 11:12:54 382

原创随机森林（R）

#### random forest ############install.packages('randomForest')library(randomForest) data(iris) attach(iris)table(iris$Species)class=as.factor(iris$Species)######描述 ############biplot(princom

2017-09-01 10:57:02 556

原创聚类（R）

####聚类######随机产生三个簇点c1<-cbind(rnorm(100,2,1),rnorm(100,2,2))c2<-cbind(rnorm(80,3,1),rnorm(80,20,1))c3<-cbind(rnorm(60,15,1),rnorm(60,25,1))v=rbind(c1,c2,c3)vplot(v)cl=kmeans(v,3)clcl$itercl$

2017-09-01 10:53:28 351

原创决策树实现（R）

###### decision tree ##########install.packages('rpart.plot')install.packages('rattle')install.packages('RColorBrewer')library(rpart)library(rattle)library(rpart.plot)library(RColorBrewer)######

2017-09-01 10:41:37 652

原创 KNN算法demo（R）

KNN算法###### knn 算法 ################## KNN 在R中使用到的包有“class包”，“gmodels包”“FNN”“rKnn”########## 以iris为例 ##############library(class)#####划分数据及，训练集，70%随机抽样######index=sample(1:nrow(iris),0.7*nrow(iris))

2017-09-01 10:36:26 559

原创 R笔记（绘图）

R笔记：setwd("F:\\R基础")getwd()#R绘图示例demo(graphics) #二维demo(persp) #三维#####1.绘图区域分割######函数par() #首先，准备绘图数据：从外部读取或随机数生成dat=read.table("online shopping.txt",header=T)attach(dat)set.seed(1234)x=

2017-09-01 10:22:34 606

原创 R笔记（简单数据处理）

R语言笔记#设定R软件当前工作目录setwd("E:/R work")#显示R软件当前工作目录getwd()#R语言数据预处理常用包安装#plyr,reshape2,lubridate, stringrinstall.packages(c("plyr","reshape2","lubridate", "stringr","foreign"))library(MASS)library(

2017-09-01 10:17:55 3848

机器学习实战

机器学习实战，个人收藏书籍。 python实现，各大算法中文详解。本pdf仅供学习交流，如有版权问题，联系删除。

2017-09-13

Python数据分析与挖掘实战（中文完整版）

Python数据分析与挖掘实战实例详解，适合实际项目需求的朋友参考本pdf仅供学习交流，如有版权问题，联系删除