大数据
weixin_42001089
算法让生活更美好
展开
-
SQL安装,pymysql及详细例子教程
本文首先是在ubtunu系统上安装mysql,然后总结了一下基本的mysql命令,并通过小例子实践了一下,最后简单介绍了一下python的pymysql模块安装:首先安装mysql服务端sudo apt-get install mysql-server安装mysql客户端:sudo apt-get install mysql-clientsudo apt-get inst...原创 2018-08-31 14:37:59 · 1436 阅读 · 0 评论 -
spark millib 推荐模型 +python
首先数据集下载:http://files.grouplens.org/datasets/movielens/ml-100k.zip下载好后解压,里面有几个比较重要首先是u.user 记录着用户的信息u.data记录着用户对其看过的电影的评价u.item记录的便是电影的信息----------------------------------------------------...原创 2018-09-16 14:57:33 · 995 阅读 · 0 评论 -
ubuntu18.04安装spark(伪分布式)
在安装spark之前,首先需要安装配置Hadoop,这个就不做详细介绍了,可以参看博主的另一篇:https://blog.csdn.net/weixin_42001089/article/details/81865101######################################################################################...原创 2018-09-05 18:40:55 · 25403 阅读 · 2 评论 -
Hive 安装配置
首先要确保安装了Hadoop和mysqlHadoop安装参考:https://blog.csdn.net/weixin_42001089/article/details/81865101mysql安装参考:https://blog.csdn.net/weixin_42001089/article/details/82106723下载:http://mirror.bit.edu.cn...原创 2018-09-08 13:30:51 · 268 阅读 · 0 评论 -
spark入门框架+python
目录:简介pysparkIPython Notebook安装配置spark编写框架:首先开启hdfs以及yarn1 sparkconf2 sparkcontext3 RDD(核心)4 transformation(核心) 5 action(核心)当然也可以指定运行py程序 简介: 不可否认,spark是一种大数据框架,...原创 2018-09-05 18:41:43 · 16697 阅读 · 1 评论 -
spark入门框架+python
简介: 不可否认,spark是一种大数据框架,它的出现往往会有Hadoop的身影,其实Hadoop更多的可以看做是大数据的基础设施,它本身提供了HDFS文件系统用于大数据的存储,当然还提供了MR用于大数据处理,但是MR有很多自身的缺点,针对这些缺点也已经有很多其他的方法,类如针对MR编写的复杂性有了Hive,针对MR的实时性差有了流处理Strom等等,spark设计也是针对MR功能的,它并...原创 2018-12-24 20:06:48 · 921 阅读 · 0 评论 -
python 关于Hadoop的框架
hadoop的核心就是hdfs和mapperreducerpython都有对应的框架,下面分开说:(1)调用hdfs的python API相关的包有很多,这里介绍一下hdfs,安装很简单pip install hdfs使用的时候:from hdfs import * client = Client("http://localhost:50070") 那么之后...原创 2018-08-23 18:02:11 · 2449 阅读 · 0 评论 -
ubuntu18.04安装Hadoop
安装部分参考https://blog.csdn.net/qjk19940101/article/details/70544197,这里只是改动了部分和部分填充并进一步说明:首先更新apt包:sudo apt-get update安装SSH server:sudo apt-get install openssh-server配置SSH:ssh localhoste...原创 2018-08-20 15:35:21 · 33131 阅读 · 11 评论 -
总结mysql易错点
一:当group by 与聚合函数配合使用时,功能为分组后计算select count(id)from employee group by id当group by 与having配合使用时,功能为分组后过滤select count(id)from employee group by idhaving count(id)>2当group by 与聚合函数,同...原创 2018-10-12 14:05:47 · 348 阅读 · 0 评论