- 博客(15)
- 收藏
- 关注
RSS订阅原创 大数据学习之sqoop
sqoop概述sqoop安装Sqoop是Hadoop的子项目，因此需要先安装Java以及hadoop1.sqoop下载：sqoop下载地址2.安装包解压到指定目录。3.修改配置文件：$ cd $SQOOP_HOME/conf$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export HADOOP_COMMON_HOME=/usr/local/apps/hadoop-2.7.7export HADOOP_MAPR
2020-09-22 17:51:29
136
原创 大数据学习之Hive
Hive单用户模式搭建1.安装mysqlyum install -y mysql-server启动服务service mysqld startchkconfig mysql on进入mysqlmysql修改mysql登录权限GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;修改为登录权限是“root”，用户名是“%”，密码是“123”；删除多余的权限;刷新：flus
2020-08-31 09:36:14
326
原创 大数据学习之Zookeeper
Zookeeper简介Zookeeper是一个为分布式应用所设计的开源协调服务。它可以为用户提供同步、配置管理、分组和命名等服务。开发者意欲将Zookeeper设计成一个易于编程的环境，所以它的文件系统使用了我们所熟悉的目录树结构。Zookeeper是使用Java编写的，但是它支持Java和C两种编程语言。总所周知，协调服务是非常容易出错的，而且很难从故障中恢复。Zookeeper的设计目的就是为了减轻分布式应用程序所承担的协调服务。Zookeeper设计目标1.简单化：Zookeeper允许分布
2020-08-18 10:38:48
322
原创 大数据学习之HBase的安装与使用
HBase安装1.HBase下载HBase安装包下载地址2.HBase伪分布式搭建安装1）把安装包发送到Linux服务器上，然后解压到设定文件夹里面tar -zvxf hbase-2.2.4-bin.tar.gz -C /usr/local/apps/2）安装jdk，配置Java环境变量。3）配置HBase环境变量vi /etc/profile 文件末追加HBase环境变量信息export HBASE_HOME=/usr/local/apps/hbase-2.2.4export PAT
2020-08-13 17:36:55
485
原创 大数据学习之HBase
分布式数据库HBaseHBase简介HBase是一种高可靠、高性能、面向列、课伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，能够通过水平扩展的方式，利用廉价计算机集群处理超过大规模的数据表。在Hadoop生态体系中，HBase利用Hadoop MapReduce来处理HBase中的海量数据，实现高性能计算；利用Zookeeper作为协同服务，实现稳定服务和失败恢复；使用HDFS作为高可靠的底层存储，利用廉价集群提供海
2020-08-06 11:53:15
2015
原创 Hadoop学习之Yarn
分布式资源管理框架YARNYARN概述YARN（Yet Another Resource Negotiator,另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来的巨大的好处。YARN被引入Hadoop 2最初是为了改善MapReduce的实现，YARN是 MapReduce 的一个更加通用和高级的框架形式，并在其上增加了更多的功能。但它具有足够的通用性，同样可以支持其他的分布式
2020-07-29 15:32:33
163
原创 Hadoop学习之MapReduce
MapReduce简介1.什么是MapReduce？MapReduce做为hadoop三大核心组件之一，是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析应用”的核心框架。MapReduce 的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop 集群上。2.为什么要用MapReduce？(1) 海量数据在单机上处理因为硬件资源限制，无法胜任；(2) 一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难
2020-07-23 17:40:11
916
原创 HDFS的Java客户端操作
搭建开发环境1.安装eclipse，新建项目，并导入hdfs的jar包----hadoop安装目录下share目录下hadoop目录下：目录文件如下;先导入hdfs文件里的jar包：导入 hadoop-hdfs-2.7.7以及lib目录下的所有jar包。然后回到上一级目录导入common文件下的jar包：导入hadoop-common-2.7.7以及lib文件夹下的所有jar包。若在Windows下进行客户端应用的开发，需要设置以下环境变量：1.在Windows的某个目录下解压一个h
2020-07-15 09:32:55
190
原创 Linux虚拟机安装hadoop
Windows系统安装虚拟机这里安装虚拟机使用VMvare虚拟机，下载地址https://www.cr173.com/soft/32940.htm，下载好以后安装过程比较简单，按照提示进行就可以。安装好以后第一次运行需要输入产品密钥，可以百度获取。VMvare安装Linux系统这里Linux系统我们CentOS 6.5.下载地址：百度网盘下载：http://pan.baidu.com/s/1dD2DSLbBT种子下载：链接：https://pan.baidu.com/s/1et-ndPJ0UrMY
2020-07-08 11:52:15
2659
原创 Windows7下搭建本地hadoop开发环境
Windows7下搭建本地hadoop开发环境jdk下载jdk下载地址jdk安装jdk安装步骤hadoop下载hadoop下载地址Windows下安装Hadoop工具下载安装工具下载hadoop环境变量配置1.之前下载好的Hadoop是一个压缩包，因此直接解压到你的本地目录，我下载的是hadoop-2.7.7版本，解压在E:\hadoop\hadoop-2.7.7。2.开始配置环境变量：打开计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –&g
2020-07-06 15:54:29
210
原创 实现图片添加文字水印
记录一个给图片添加文字水印的方法。整体布局：在Imageview上自己想要的位置覆盖一个TextView，可以手动输入文字，并将添加文字后的图片保存到本地图册。Xml文件：<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="http://schemas.android.com/apk/res...
2019-04-22 10:57:44
252
原创 rk3288固件烧写
前言本文介绍了如何将主机上的固件文件，通过 Micro USB OTG 线，烧录到开发板的闪存中。 升级时，需要根据主机操作系统和固件类型来选择合适的升级方式。在这里介绍使用Windows系统通过多个分区镜像来进行固件升级。准备工作Firefly RK3288 开发板固件主机良好的 Micro USB OTG 线在这里固件文件使用多个分区镜像：boot.img ：Andro...
2019-01-18 15:00:01
4440
原创 预制Launcher到安卓源码
将Launcher打包成apk预装进安卓源码前提apk已有签名；安卓源码操作步骤1.在 packages/apps 下面以需要预置的 Launcher 名字创建文件夹，以预制一个名为LauncherS的APK为例 。2.将 LauncherS.apk 放到 packages/apps/LauncherS下面。3.将 LauncherS.apk解压缩，将解压出来的lib文件夹放到 pac...
2019-01-18 11:32:30
270
原创 预制无源码apk到安卓系统
前提apk已有签名；安卓源码操作步骤1.在 packages/apps 下面以需要预置的 APK 名字创建文件夹，以预制一个名为Test的APK为例 。2.将 Test.apk 放到 packages/apps/Test 下面。3.在 packages/apps/Test 下面创建文件 Android.mk，文件内容如下 ：LOCAL_PATH := $(call my-dir)i...
2019-01-18 11:09:58
529
原创 RK3288源码编译
一.源码下载安卓5.1源码下载：到firefly官网下载 http://www.t-firefly.com/doc/download/page/id/4.html二.编译Android固件2.1准备工作1.编译环境是ubuntu12.04系统或以上2.ubuntu磁盘空间大于30GB，内存8GB，处理器8GB2.2ubuntu下安装JDK7sudo add-apt-repositor...
2019-01-18 10:39:24
1976
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人