原创 HBase设计架构

传统数据库与HBase存储方式关系型数据库中主键不能重复，但在HBASE 中可以重复，若重复代表同一条记录，用空间换取查询效率一个完整分布式的HBase的组成示意图如下https://www.cnblogs.com/csyuan/p/6543018.html...

原创 MapReduce核心编程思想

原创 Ip地址配置相关

设置CentOS 主机名hostnamectl set-hostname bigdata121hostname 查看设置是否成功Step1: vi etc/sysconfig/network-scripts/ifcfg-en*Step2: vi etc/resolv.confStep3: perform commond =>service...

原创 什么是大数据

2002 大数据提出 由美国引入----麦肯锡报告4V特征：1)数据量大2)多样性3) 输入和输出速度快（流式数据）4)价值密度低##积累很多的数据才能发掘大数据隐藏的意义####只要能发挥和挖掘数据的价值，不用纠结数据量的大小##大数据核心问题---分布式存储、计算和分析 ------通过组件(计算框架)解决了Google的基本思想三篇论文 :G...

原创 大数据环境搭建攻略

ip ddr / ipconfig 查看IP地址大数据环境安装部署步骤https://www.cnblogs.com/Jims2016/p/6985591.html设置CentOS 主机名hostnamectl set-hostname 主机名hostname 查看设置是否成功1、搭建环境步骤:1)安装VMWare,然后安装CentOS，并修改linu...

原创 Hdfs工作机制

namenode 工作机制datenode 工作机制

原创 MR 执行WordCount流程分析

原创 MapReduce详细工作流程

原创 Shuffle机制

完整地从map task端读取数据到reduce 端。 在跨节点读取数据时，尽可能地减少对带宽的不必要消耗。 减少磁盘IO对task执行的影响。计算切片大小方法: FileInputFormat 类280行 切片公式MapReduce统计单词过程...

原创 Yarn架构

Yarn 三种调试方式:FIFO容量调度公平调度

原创 Android 进程保活

1、锁屏时开一个1像素的Activity,骗过系统，在开屏的时候关掉2、加入白名单中一般用户量比较大3、弄一个系统通知4、相互唤醒可以与别人合作如果应用想保活，要是QQ，微信愿意救你也行，有多少手机上没有QQ，微信呢？或者像友盟，信鸽这种推送SDK，也存在唤醒app的功能5、维持一个心跳检测是否还存活6 、多进程...

原创 Hadoop优化点

MapReduce 跑的慢的原因Mapreduce 程序效率的瓶颈在于两点：1）计算机性能CPU、内存、磁盘健康、网络2）I/O 操作优化（1）数据倾斜（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（5）大量的不可分块的超大文件（6）spill次数过多（7）merge次数过多等。6.2 Map...

原创 Zookeeper配置Cluster方法

1、上传到linux 通过xShell52、tar -zxvf filePath -C desPath3、进入到zookeeper-3.4.10 目录4、在zookeeper-3.4.10目录里面建立一个zkData5、进入conf 里面 mv zoo_sample.cfg zoo.cfg这个为4创建的目录dataDir=/opt/module/zookeeper-3.4....

原创 Hive分桶与分区的不同

https://blog.csdn.net/jenrey/article/details/80588493分桶不同于分区,分桶中的字段是原始数据中存在的 (分桶可以有多个字段)分区表，分区字段在原始文件中并不存在 (比如海量日志，用日期分区,并且只能有一个key)所谓分区，这是将满足某些条件的记录打包，做个记号，在查询时提高效率，相当于按文件夹对文件进行分类，文件夹名可类比...

原创 Hive总结笔记

一、hive 安装下载jar包，安装配置二、Hive架构图三、Hive常用命令DDL数据定义1、查看数据库show databases;2、创建数据库create database if not exists hive_db;3、创建库指定hdfs路径create database hive_db2 location '/hive_db2'...

原创 Android架构师必备

原创 Vue环境配置

1、安装node.js 官网下载，安装后，检查：node -v , npm -v 查看是否吸纳是版本信息； 使用 npm install npm -g 更新至最新；2、安装 淘宝镜像（cnpm） npm install -g cnpm --registry=https://registry.npm.taobao.org3、全局安装 vue-cli...

原创 elasticsearch启动常见错误

root用户启动es出现如下错误[root@bigdata124 ~]# cd /opt/module/elasticsearch-5.6.2/[root@bigdata124 elasticsearch-5.6.2]# ./bin/elasticsearch[2019-11-21T18:02:25,703][WARN ][o.e.b.ElasticsearchUncaughtExcep...

原创 Android 架构设计图

分析Andrioid Framework层源码，讲解Binder机制原理，Android系统中按键事件和触摸事件的传递机制，更深入层次的理解Context,熟悉Android窗口的创建过程你需要补一些C++的基础，需要补计算机系统的基础，甚至需要理解设计模式FramentWork Layer need to know,What you need know now?Act...

原创 录音语音识别系统功能图

纳米录音、语音系统功能介绍：一、 此系统主要收集催收员与用户的通话记录、收发短信、彩信等信息(数据采集工作）,主要用来帮助纳米做数据建模、风险控制、提高决策效率的系统，主要功能包括：1、电话录音(mp3呈现）2、电话记录收集3、短信收集4、彩信收集5、将mp3转化为文本二、实现目的：1、记录催收员的工作(业绩来源于此)2、规范催收员的行为3、让逾期用户...

原创 样式与模板导入方法(组件化编程 代码复用等)

样式导入方法@import "/pages/style/common.wxss";模板导入方法<template name="DialogTemplate"></template><import src="../template/DialogTemplate.wxml"/>模板使用方法<template is="Di...

原创 小程序NetworkUtils工具类

//方法一// 展示进度条的网络请求// url:网络请求的url// params:请求参数// message:进度条的提示信息// success:成功的回调函数// fail：失败的回调// method: 请求方法 GET OR POST//方法一function requestLoading(method,url, params, messag...

原创 缓存方法

function getUserName() {return wx.getStorageSync('userName1');}function setUserName(userName) {try{wx.setStorageSync('userName1', userName);}catch(e){console.log(e);}}//保存...

原创 DeviceUtil工具类封装方法

function getSystemInfoJSON() {return wx.getSystemInfoSync();}function getSDKVersion(){return getSystemInfoJSON().SDKVersion;}function getBrand() {return getSystemInfoJSON().brand;...

原创 App全局应用

app.js里可以定义全局数据如:globalData: {userInfo: null}(可以理解为json串)在某个页面引入app变量const app = getApp();使用如:let userInfo=app.globalData.userInfo;(userInfo你提供的是什么，取出来就是什么)关于生命周期://第一次启动就调用...

原创 Page生命周期

Page({/*** 页面的初始数据*/data: {},/*** 生命周期函数--监听页面加载*/onLoad: function (options) {},/*** 生命周期函数--监听页面初次渲染完成*/onReady: function () {},/*** 生命周期函数--监听页面显示*/...

原创 文件名修改排序算法

Collections.sort(Arrays.asList(files),new CompratorByLastModified());/*** 进行文件排序时间*/private static class CompratorByLastModified implements Comparator<File> {public int compare(File...

原创 Handler消息机制

http://ddrv.cn/a/296399Looper.prepare()其实里面是new 了一个Looper,而new Looper里面是创建了一个消息队列Looper.loop() 消息循环记住：一个线程对应一个Looper对象；然后在创建Looper的时候创建了一个MessagQueue消息队列管理消息的入栈和出栈，也是一个线程对应一个MessagQueue；执...

原创 MongoDB安装与配置

step1 : 准备好mongodb-linux-x86_64-rhel62-3.4.3.tgz文件step2:解压到指定目录 [root@bigdata124 software]# tar -zxvf mongodb-linux-x86_64-rhel62-3.4.3.tgz -C ../software/step3:修改名字 [root@bi...

原创 fatal: refusing to merge unrelated histories

git pull 失败 ,提示：fatal: refusing tomergeunrelated histories其实这个问题是因为 两个 根本不相干的 git 库， 一个是本地库， 一个是远端库， 然后本地要去推送到远端， 远端觉得这个本地库跟自己不相干， 所以告知无法合并具体的方法， 一个种方法： 是 从远端库拉下来代码 ， 本地要加入的代码放到远端库下载到本地的库， 然后提交上...

原创 MongoDB 概念解析

原创 推荐系统

原创 Flink编程模型

每个flink程序都包含以下若干流程 1、获得一个执行环境：（Execution Environment） 2、加载、创建初始数据；（source） 3、转换这些数据；（Transformation） 4、处理计算结果；（sink） ...

原创 区块链技术

现阶段，区块链技术最显著的内涵在于使用分布式记账、非对称加密、点对点传输等技术组合，确保数据不可篡改、全程可追溯，从而解决社会交往中的信任构建难题当下区块链之所以备受热捧，一个重要的原因是被贴上了许多特别的标签，比如：去中心化、全程可追溯、不可篡改等。历史证明，商机并非都是先到先得、先到多得的游戏，新技术发展的各个阶段都会创造新的商业机会，不同阶段的商机适合不同类型...

原创 Flink 介绍

官网：https://flink.apache.org/一、Flink是什么 1、Flink概述 （1）MapReduce、spark、storm 类似。Flink与他们是一类技术。 （2）Apache Flink 是一个分布式大数据处理引擎。可以对有限的数据流和无限数据流进行有状态计算。 ...

原创 Git 远程仓库

远程仓库 git远程仓库访问协议： local：模拟一个远程仓库，也就是远程仓库在本地另外的文件夹。用的很少。 ssh 协议 git 协议 http、https协议：一般用于开源项目 远程仓库实现： 1、现有的git网络仓库：githu...

原创 Git 安装与配置

git安装 git的工作区域： working directory 工作区，编辑修改文件区域 staging area 暂存已经修改的文件 git repository 仓库 安装Git win https://git-scm.c...

原创 Docker

2013年发布一、环境配置难题 软件开发最大的麻烦就是环境配置。 开发环境运行没问题，生产不能用。因为生产缺某些组件。 换一台机器，就要重新配置一遍。 能不能从根本上解决问题？即安装时，把原始环境一模一样安装一遍？ 二、虚拟机 带环境安装的解决方案。 缺点： 占用资源太多：虚拟机本身耗资源...