- 博客(11)
- 收藏
- 关注
RSS订阅原创 Memcache和Redis的详细理解与区别
1. MemcacheMemcache是一个高性能，分布式内存对象缓存系统，通过在内存中缓存一个巨大的hash表，他能够存储包括图像，文件，索引，sql语句结果等数据，可以理解为它理解为一个为提升读取效率的数据容器，先将数据从数据库提取到内存中，然后在内存中读取，从而提升读取效率1.1 Memcache的特性使用物理内存作为缓存区，可独立运行在服务器上，每个进程最大内存为2G。如果想...
2018-08-16 20:18:25
5655
原创 Spark学习之Redis
1. 关于Nosql的介绍不支持sql查询语言相互之间没有复杂的关系结构，只是简单的K—V形式没有统一的查询语句，每一个NOsql数据库都有自己独立的api和查询语言种类十分繁多 Nosql的种类 MongoDB 文档型数据库，适合做文档管理系统（CMS） Redis 内存数据库，数据结构服务器 Hbase 基于hadoop的分布式数据库，适合海量数据 ...
2018-08-16 10:56:42
1559
原创 Hadoop五大工具组件Redis的安装
1. 找官网（https://redis.io/）下载对应版本的 Redis（redis-3.2.6.tar.gz）安装包2. 解压到对应的安装目录tar -zxvf redis-3.2.6.tar.gz -C /home/hadoop/apps/ 3. 进入到 Redis 根目录cd apps/redis-3.2.6/4.然后依次执行以下命令make -versi...
2018-08-15 12:09:42
1761
原创 Spark学习之Flume
1、数据收集工具/系统产生的背景1. 1 hadoop的业务流程一般而言在hadoop的开发过程之中会经历以下几个流程 数据采集 — MAPREDUCE数据清洗 — 数据储存在Hbase — Hive统计和分析 — 存入Hive表中 — 存入Mysql - 展示数据 在这些业务流程之中数据采集是一切业务的来源 ，数据采集的数据的准确性，可靠性往往会对...
2018-08-14 11:23:23
170
原创 五大工具组件Flume数据采集组件安装和部署
五大组件Flume数据采集组件安装和部署1.Flume的安装Flume的安装非常简单，只需要上传解压即可 tar -zxvf apache-flume-1.8.0-bin.tar.gz进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME 2.Flume经典案例部署2.1采集目录到 HDFS- 配置文件编写...
2018-08-14 09:51:13
1032
原创 Mysql修改远程登录的两种方法
1.直接修改表中的数据mysql -u root -p mysql>use mysql; mysql>update user set host = '%' where user = 'root'; mysql>FLUSH PRIVILEGES 2.授权mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'W...
2018-08-10 16:50:32
4899
原创 azkaban安装流程
1.1 安装包准备Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件：azkaban-sql-script-2.5.0.tar.g 下载地址:http://azkaban.github.io/do...
2018-08-10 13:01:58
381
转载 sqoop常用操作文档
1、导入：1.1 常用命令解析connect 指定数据库链接url--username 指定数据库的用户名--password 指定数据库的密码--table 指定要导出数据的mysql数据库表-m 指定MapTask的个数--target-dir ...
2018-08-09 19:05:02
370
原创 Hbase与Hive的整合
1.1原理Hive 与 HBase 利用两者本身对外的 API 来实现整合，主要是靠 HBaseStorageHandler 进行通信，利用 HBaseStorageHandler，Hive 可以获取到 Hive 表对应的 HBase 表名，列簇以及列，InputFormat 和 OutputFormat 类，创建和删除 HBase 表等。Hive 访问 HBase 中表数据，实质上是通过...
2018-08-08 17:29:18
166
原创 Hadoop高可用集群的搭建
Hadoop高可用集群的搭建1.Hadoop Ha集群的搭建原理在hadoop的完全分布式使用过程，如果namenode出现故障，处于宕机状态，那么整个集群都将瘫痪，直到namenode重新启动，而随着大数据数据的膨胀，一个namenode节点承担的压力越来越大，宕机可能性的越来越来大。 Hadoop的Ha的实现原理是通过配置多个节点的namenode， 在任何时间点，确 保 Nam...
2018-08-06 22:12:57
542
转载 Hadoop学习第一章：Hadoop概述
一、Hadoop的产生背景关于Hadoop的产生背景来源于Nutch，Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，然而随着抓取网页数据的增加，数据的搜索和储存成为了设计人员所要思考的一个关键！2003年Google发布了三篇论文，GFS（Google File System），分布式计算框架（MapReduce）,分布式数据库（BigTa...
2018-08-06 20:19:59
233
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人