2017年09月_metooman

原创 hadoop java API问题总结一

关于副本数量的问题副本数由客户端的参数dfs.replication决定（优先级： conf.set > 自定义配置文件 > jar包中的hdfs-default.xml）

2017-09-15 20:21:47 227

原创 hadoop 配置文件

/core-site.xml ****！！！以下单位MB //指定namenode的命名空间 fs.defaultFS hdfs://hadoop01:9000 //这里是配置缓冲流的大小，，hadoop2.* 是4096 3.*是131072

2017-09-14 19:46:06 196

原创 hadoop 搭建集群配置

1.要有个规划，由于是用自己电脑来模拟搭建，因此在以三个节点为例来演示hadoop 的搭建hadoop01 ip 51 namenode、datanode 、 nodemanager 、resourcemanager、jobhistoryserverhadoop02 ip 52 datanode 、secondarynamenode 、nodemanagerhadoop03 ip

2017-09-14 19:16:41 215

原创 linux hadoop 安装

下载hadoop文件 hadoop*.tar.gztar -zxvf /home/hadoop*.tar.gz -C /opt/appvi /etc/profile/ 配置HADOOP_HOME HADOOP_HOME=...PATH=$PATH:$JAVA_HOME/BIN:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: 这是在有JAVA

2017-09-14 17:54:40 379

原创 linux 免登录

在大数据集群中，或者普通远程连接服务器都会使用ssh免登录ssh-keygen 获取ssh 公钥私钥在/root/.ssh 文件下ssh-copy-id 机器名（hosts里配置过映射）也可以给本机使用。

2017-09-14 17:47:15 188

原创 linux 安装nginx

root 用户登录which nginx如果没有 rpm -ivh http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el6.ngx.noarch.rpm 如果没反应，那就是网络问题然后再 yum install nginx service nginx restart/start/s

2017-09-13 19:59:16 141

原创 vm linux 快照clone

虚拟机：使用nat 模式，设置ip地址子网掩码（与ip按位与&来确定网段），还有网关我使用 192.168.110.0 255.255.255.0 192.168.110.2在虚拟机中，我们可以在 vi /etc/sysconfig/network-scripts/ifcfg-eth0 中设置 ip 网关 dns uuid 网卡dns 与网关设置一样重启服务

2017-09-13 19:26:12 250

原创 linux java安装

which java 有：mv /usr/bin/java /usr/bin/java.bak没有，pass将jdk 添加到linux里；在 opt目录下创建app目录，这是以后安装软件目录tar -zxvf /home/jdk-7u79-linux-x64.gz -C /opt/app/vi /etc/profile在最后添加JAVA_HOME=/opt/a

2017-09-13 19:10:34 171

原创 java中的装饰者模式

定义：装饰模式又名包装（Wrapper）模式。　　装饰模式以对客户端透明的方式扩展对象的功能，是继承关系的一个替代方案。　　装饰模式通过创建一个包装对象，也就是装饰，来包裹真实的对象。　　装饰模式以对客户端透明的方式动态地给一个对象附加上更多的责任。换言之，客户端并不会觉得对象在装饰前和装饰后有什么不同。　　装饰模式可以在不创造更多子类的情况下，将对象的功能

2017-09-12 21:11:40 218

原创数据挖掘，数据处理与数据分析。

大数据驱动业务按渠道拆分，按地域拆分。。。我们将数据获取全获取细，然后让业务人员去找自己需要的数据数据流程：数据采集-》数据建模-》数据分析数据采集的基本原则：全：多种源（客户端，服务端，数据库），全量而非抽样细：who when where how what常用的数据采集方式：可视化埋点（像页面的点击）代码埋点导入辅助工具数据建模（数据

2017-09-11 21:33:48 2033

原创 django 基础

models.py文件，定义模型类模型类继承自models.Model类生成数据表激活模型：编辑settings.py文件，将booktest应用加入到installed_apps中生成迁移文件：根据模型类生成sql语句 python manage.py makemigrations迁移文件被生成到应用的migrations目录执行迁移：执行s

2017-09-02 22:23:54 235

原创 python基础方面三

异常捕获异常 try...except...else 没有捕获异常云行finally 一定运行的代码有异常中断，然后在except中执行raise 抛出异常与Java throw 一样模块import from .. import from .. import *as 起小名定位模块顺序是：1当前目

2017-09-01 21:49:56 222

metooman的博客