wswswang-CSDN博客

原创 sqoop基本使用

sqoop 使用笔记sqoop概念将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制sqoop import 工具“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）

2018-02-01 16:12:45 380

原创数据仓库的设计思想

数据仓库的设计理念概念事实表在多维仓库中，保存度量值的详细值或事实的表成为“事实表”, 例如每一条的订单信息, 这条信息也可能包含有采购订单号或者是发票号。事实表中的数据包含了你想从度量信息中读取最底层的明细。事实表的每一列都是一个维度每个数据仓库包含有多个事实数据表维度表维度表包含有维度的特定成员的特定名称，维度的名称称为属性总结事实

2018-02-01 16:08:46 705

原创 sqoop实现自定义函数

sqoop实现自定义函数需求因为手机号是比较的隐私的字段，实现手机号的非对称加密，以便日后发短信广告推广技术实现原理修改sqoop生成的java代码修改，对其需要的字段进行加密，重新打包生成jar，在sqoop使用时导入该jar具体流程使用sqoop生成对应的java代码sqoop codegen --connect {jdbc:url}

2018-01-23 15:36:24 1504

原创 redis

Redis的使用redis支持四种数据类型string 类型这个string 是c++中的string 因此支持任何字符数据set key value value 可以是double float类型incr 自增加一如果值不存在先初始化为0 然后加一incrby 加上孩子i的那个数字不存在先初始化为0 再加set 增加del 删除list类型单列list集合，数据结构lindke

2017-07-25 00:41:57 228

原创 Zookeeper集群环境搭建

Zookeeper集群环境搭建准备工作四台centos虚拟机,一台主机控制其他三台每台虚拟需要配置JDK ，免登录，由主机统一管理配置需要安装的包主机httpd服务 yum install -y httpd,方便其他机器下载资源主机支持expect 命令 yum -y install expect支持http下载 yum install -y wget 关闭防火墙非常重要 su

2017-04-03 23:38:54 302

原创 yum仓库的搭建

yum仓库的搭建本地yum仓库的安装配置每台机器都配置一个本地文件系统上的yum仓库 ag: file://package/path mkdir mnt/cdrom 建立此文件夹作为光盘加载的链接存放mount -t iso9660 -0 ro /dev/cdrom /mnt/cdrom // -t 挂载的文件类型是iso9660 o 读写形式只读 ro 哪里的文件挂载到哪里vi /e

2017-04-02 22:22:07 812

原创 Nginx使用

Ngnix使用tomcat使用开启tomcat sh startup.sh./startup.sh查看动态的log tail -f ../logs/catalina.outNgnix高性能的HTTP和反向代理服务器，轻量级，我们只要用来反向代理负载均衡动静分离反向代理正向代理从A –> B，中间的代理服务器，需要用户手动设置代理服务器的ip，端口号反向代理服务器的代理服

2017-04-01 01:39:16 377

原创 Gradle多版本多渠道指定名字打包

Gradle多版本多渠道指定名字打包Gradle多版本打包前言: 在开发当中，往往有多种网络配置环境，例如内网，外网，预发布，那么就需要打不同的包，每次手动去改，一是麻烦，二是有风险定义多种打包类型buildTypes { release { manifestPlaceholders = [appName: "正式发布版"] progu

2017-03-30 10:19:43 2385

原创 linux基础与虚拟机配置（二）

linux基础与虚拟机配置（二）克隆虚拟机点击克隆，克隆完整的虚拟机，要处理网路问题文件的上下与下载打开sftp回话上传（如果不cd指定目录,则上传到用户的主目录） sftp> cd /home/ sftp> put XXX 上传到制定文件 sftp> lcd d:/ sftp> get /home/

2017-03-30 01:41:26 348

原创 linux基础与虚拟机配置（一）

linux基础与虚拟机配置linux的安装安装CentOS系统选择以后安装系统，选择系统版本选择 desktop安装linux的使用boot指向的是一个分区dev指向是硬件etc是程序的配置文件用户的配置在home里面，root在root文件下lib库文件,lib64usr共享资源bin功能程序，sbin系统级别的管理指令tmp临时数据远程协作

2017-03-29 01:10:27 434

原创 MVVM模式使用

MVVM模式使用MVVM模式的优点提供了数据和界面绑定的桥梁MVVM模式的使用gradle在android节点下加入 dataBinding { enabled true}布局根节点加入layout在activty中不再是setContentView 而是 DataBindingUtil.setContentView(this, R.layout.activity_main

2017-03-24 14:16:22 581

原创 EasyPermisson

EasyPermission的简单使用概述对于6.0以上的系统,权限分为普通权限和运行时权限,运行时权限,除了在清单文件需要声明以外,还要在运行的时候进行动态申请,而普通的权限是不需要重新申请的权限是分为一组组的,对于一组权限而言,申请了一个权限,就拥有一组权限,而无需重复申请对与EasyPermisson的简单使用概要权限组 group:android.permission-grou

2016-09-13 12:34:27 366

原创 protocol buf的简单使用

protocol buf简介是一个高效的,跨语言的二进制传输语言google 推出的后续的消息增加也不会改变原来的消息结构,只需后续增加即可使用概要下载protocol 编译器,jar包编写Message消息类型导出的java文件命令,使用该命令直接生成java代码protoc.exe --java_out=. Account.proto//Account.proto是消息的名字参数

2016-09-09 16:14:46 2743

原创注解的使用

注解从1.5开始引入java注解是把程序元素设置成元数据的方法标准注解有系统的@override,@Deprecated,@SuppressWarnings元注解@Retention 表示什么级别保存该注释信息source : 编译的时候会被擦除class: 在class文件的时候可用Runtime vm在运行的后也会保存,并且通过反射提取注释信息@Target 该注解可以用在什么地方

2016-08-30 22:21:13 342

原创 github使用

github的使用 403错误的解决准备安装git软件,git,gittortoise俗称小乌龟,进行git命名的可视化操作注册git帐号,,新建一个仓库获得仓库的地址,比如我的是https://github.com/sirwangshuai/SimpleRetrofitDemo.git根据github提示,在本地clone仓库把代码push上去这时候就会出现403错误,此时有两种解决

2016-07-28 14:12:22 604

原创安卓与H5之间的调用,本地模版动态刷新数据

安卓与H5之间的调用,本地模版动态刷新数据目前安卓与js通讯一共有四种方式安卓调用jsjs调用安卓js调用安卓,安卓回调js,callback式的回调,这种方式最为常见安卓调用js,js回调安卓,但是这种方法不知道问什么大公司不用了前期准备测试阶段使用在线模版,正式上线之后采用本地模版需要提前准备好相关的页面需要在声明Internet权限webview需要允许js代码运行WebS

2016-07-03 19:39:49 2233

逝水年华的博客