博客专栏  >  云计算/大数据   >  大数据的学路历程

大数据的学路历程

本专栏主要讲解大数据学习中容易遇到的问题,以及如何将大数据技术应用到项目中。

关注
10 已关注
31篇博文
  • 基于MapReduce实现物品协同过滤算法(ItemCF)

    一、背景电子商务网站是个性化推荐系统重要地应用的领域之一,亚马逊就是个性化推荐系统的积极应用者和推广者,亚马逊的推荐系统深入到网站的各类商品,为亚马逊带来了至少30%的销售额。二、ItemCF简介基于...

    2018-05-17 17:36
    7581
  • 基于Spark2.x新闻网大数据实时分析可视化系统项目

    本次项目是基于企业大数据经典案例项目(大数据日志分析),全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。项目代码托管于githu...

    2018-05-03 20:05
    11109
  • 基于Spark的电影推荐系统(包含爬虫项目、web网站、后台管理系统以及spark推荐系统)

    本次项目是基于大数据过滤引擎的电影推荐系统–“懂你”电影网站,包含了爬虫、电影网站(前端和后端)、后台管理系统以及推荐系统(Spark)。 项目代码托管于github,大家可以自行下载。 ...

    2018-04-19 16:06
    14405
  • 基于分布式的云笔记实现(参考某道云笔记)

    注: 1)云笔记代码可在github上下载,如果对您有用,记得star一下。 2)依赖jar包可在以下地址下载jar包,密码:yvkj,放到web/lib下即可 3)hd...

    2018-01-20 23:28
    8180
  • Linux-centos下 Spark2.X环境准备、编译部署及运行

    1. Spark概述    Spark 是一个用来实现快速而通用的集群计算的平台。    在速度方面,Spark 扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模式,包括交互式...

    2018-05-03 15:24
    1262
  • Spark2.X 分布式弹性数据集

    1. 三大弹性数据集介绍1)概念2)优缺点对比2. Spark RDD概述与创建方式1)概述    在集群背后,有一个非常重要的分布式数据架构,即弹性分布式数据集(resilientdistribut...

    2018-05-03 15:56
    1410
  • linux下安装spark三种模式

    环境准备    三台虚拟机:spark1,spark2,spark3     三台虚拟机已经实现免密码登录一、配置local单机模式(spark1中,解压即可用)    1.上传至linux(以spa...

    2018-02-27 01:28
    3964
  • linux下Spark SQL与hive hbase mysql集成

    虚拟机环境:centos6下述软件版本依自己本机版本相应修改一、Spark SQL 与Hive集成(spark-shell)1.需要配置的项目    1)将hive的配置文件hive-site.xml...

    2018-02-28 09:54
    3149
  • linux下安装kafka(单节点与分布式模式)

    环境准备    三台虚拟机:spark1,spark2,spark3    三台虚拟机已经实现免密码登录    三台虚拟机已经搭建zookeeper一、搭建kafka单节点模式(在spark1中搭建)...

    2018-03-08 11:11
    2638
  • Linux-centos下安装hue可视化以及与hdfs、hive、hbase和mysql的集成

    1. Hue概述及版本下载1)概述    Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Pytho...

    2018-05-03 14:30
    1521
  • linux下安装zookeeper(Standalone与Distributed模式)

    环境准备      三台虚拟机:spark1,spark2,spark3      三台虚拟机已经实现免密码登录一、搭建zookeeper的Standalone(单机)模式,在spark1上搭建。  ...

    2018-03-08 10:28
    2703
  • Linux-centos下安装hbase

    一、Hbase简介        HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。        HBase ...

    2018-05-02 21:04
    2007
  • linux下flume安装

    1.1 运行机制1、 Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成2、每一个agent相当于一个数据传递员,内部有三个组件:    a) So...

    2018-04-19 10:22
    3889
  • linux下hive三种方式的安装

    本次以apache-hive-1.2.1-bin.tar.gz为例服务器node5192.168.13.135服务器node6192.168.13.136服务器node7192.168.13.137服...

    2017-09-23 09:54
    2183
  • linux下安装高可用hdfs以及基于yarn资源管理框架

    一、安装高可用hdfs1.安装配置zookeeper(选三台服务器,node5,6,7)1)将zookeeper拷贝至linux的/home下,并解压tar -zxvf zookeeper-3.4.6...

    2017-09-10 15:10
    4336
  • linux下搭建单机版hdfs和yarn框架

    在本地搭建hadoop环境时,如果搭建集群模式下的hdfs和yarn则占用资源较多,会影响到自己电脑的性能。下面介绍如何搭建单机版hdfs和yarn。    虚拟机采用cenos6镜像,准备三台虚拟机...

    2018-02-26 16:00
    894
  • linux下安装hadoop分布式文件系统hdfs

    一、环境准备服务器四台:node5:192.168.13.135                    node6:192.168.13.136                    node7:19...

    2017-09-10 14:35
    3689
  • linux下hadoop集群常用命令

    1.上传文件    1)hadoop fs -put words.txt /path/to/input/    2)hdfs dfs -put words.txt /path/wc/input/2.获...

    2018-02-28 13:58
    3263
  • Linux-centos下安装nginx和tengine

    一、nginx安装环境nginx是C语言开发,建议在linux上运行。1)gcc安装nginx需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc:yum insta...

    2017-09-08 18:11
    4238
  • Linux-centos下安装redis及集群

    一、redis在Linux上的安装资料:链接:http://pan.baidu.com/s/1gff9mQB 密码:hlxe1)安装redis编译的c环境,yum install gcc-c++2)将...

    2017-09-08 18:35
    245
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部