yuyi_000的博客

原创 模式分类2--判别函数

模式识别系统的主要作用判别各个模式所属的类别对一个两类问题的判别，就是将模式x划分成ω1和ω2两类线性判别函数这时，若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分d(x) = w1x1 + w2x2 + w3 = 0其中x1、x2为坐标变量，w1、w2、w3为参数方程，则将一个不知类别的模式代入d(x)，有- 若d(x) > 0，则

原创 python 爬虫1 开始，先拿新浪微博开始

刚刚开始学。目的地是两个，一个微博，一个贴吧存入的话，暂时还没想那么多，先存到本地文件夹吧ubuntu14.04  python 自带，安装了一个beautifulsoup 的 解析器 ，这里我装的是新版本，不是apt-get自带的版本#安装版本4apt-get install python-bs4 python-bs4-doc开始import

原创 开始玩hadoop15--补充一点笔记（手抄）

原创 Java设计模式 Bridge（桥接）Adapter，command，State，Mediator，Facade

Bridge 桥接模式最高级父类往子类扩展的时候有多个维度的扩展，这多个维度的扩展却又有交集解决方式:让其中一个维度从具体的中间 类 继承让多个维度做排列组合，利用聚合。在最高级父类里 包含 中间类的 申明用聚合代替继承，会经常使用的手段多个维度，排列组合用桥接模式Adapter 适配器模式JDBC-ODBC Bridgejava.i

原创 java设计模式，观察者模式与awt 和模拟awt

java 自己的 button事件 awt 源码分析，摘自尚学堂，多看几遍package com.bjsxt.dp.observer.awt;import java.awt.Button;import java.awt.Frame;import java.awt.event.ActionEvent;import java.awt.event.Acti

原创 java 设计模式 观察者模式

观察者模式第一版：不断循环package luis;class Child implements Runnable{private boolean wakenUp=false;public boolean isWakenUp() {return wakenUp;}public void setWakenUp(boolean wakenUp) {this.wa

原创 java 设计模式 动态代理

动态代理的工作是：在一段程序的外面在包上一段其他程序，这样就会比较方便这里要注意，是指的是在仅仅是方法外层包上一层其他方法，而不是抱在jdk把方法实例化后再包上其他方法如果实例化后，这里会包上一层jdk 为程序运行加上的虚拟机程序首先应该想到的是继承：重写类的方法，调用父类方法用super.xxxx()，然后加入新的“包括” 方法其次应该想到聚合（一个类里头有另外一个类

原创 java 设计模式 责任链 filter

从前往后按照一定操作顺序进行 申明一个过滤器接口，里面有一个“方法申明” 叫 规则过滤，返回处理后的结果申明一些具体的操作类，全部实现过滤器接口，重写里头规则过滤的方法,返回规则处理后的结果写法：返回结果 m= new 具体实现类().规则过滤();更多的操作类组成的规则过滤 集合 可以放到一个数组里，接着按照遍历操作数组，按照顺序操作即可for(Filter f:

原创 java 设计模式 Iterator 容器与容器遍历

容器 ，不用考虑边界（动态扩展），并且知道长度所有的容器里都有一个加入方法，和一个 求长度方法先设定指定大小的数组，一旦装满了，再开辟新的一块空间再继续装可以用数组或者 链表来实现：数组实现：Object[] objects = new Object[10];int index = 0;public void add(Object o) {if

原创 java 设计模式 策略模式，comparable 接口,compareTo 方法

重点在于判断 对象   谁大谁小尤其是比较类对象的 “谁大谁小”打印类对象 print（a） 必须在类里要重写 toString() 方法@Overridepublic String toString(){return this.food+"";//后面那个双引号是为了把整个转成字符串。不能直接int打印出}对多种类型（当然都是同种类型）来比较比

原创 java 设计模式 工厂模式

工厂模式：单例模式：静态工厂方法类Car  在类内部产生产生对象写法：private static Car car=new Car(); //从头到尾都只有一个carprivate Car(){}  // 把构造方法设为空public static Car getInstance(){//这里就可以加上限制条件了。。。就没有直接new car 那么方便了//  

原创 python脚本语言3

python 文件读写open 函数或者 file类fo = open('/root/test.txt')fo.read()fo.close()f1=file('/root/test.txt')f1.read()f1.read()f1.close()moder 只读 r+ 读写 w 写入以追加的形式写入，先删除在写入，没有文件则创建 w+ 读

原创 python脚本语言2

lambda 表达式g=lambda x,y:x*y调用g(2,3)lambda 不需要写return函数reduce  函数reduce(function,list)   每次从list中取出两个值，然后运算function的结果放入list ，直到最后list剩下最后一个值，就是所要的结果（递归的替代）reduce(lambda x,y:x*y ,l)

原创 python 脚本语言1

新建文件：1.py在文件头写入#!/usr/bin/python   这样就可以直接输入文件名就可以执行python程序否则的话就要指定python XXX 来指定用python 来执行程序新建文件按;2.pyimport py_compilepy_compile.compile('1.py')  因为两个文件在同一目录下，可以直接编译设置文件夹权限 chmod

原创 开始玩hadoop14 ---从sql 关系数据库和 hadoop 之间的数据交换---Sqoop

Sqoop---apache 基金会sql-to-hdfs 工具利用jdbc 连接关系型数据库Sqoop 的获取archive.cloudera.com   --  做过一些改动的hadoop包 方便使用Sqoop 依赖 hadoop包（hadoop-core-xxx.xxx.jar），导入不同的关系型数据库，依赖不同的数据库连接类型包(mysql-co

原创 生产环境下的hadoop 配置实战

成百上千的hadoop集群维护方式：（技巧）不维护每台机器的hosts 文件，取而代之的是建立一台dns 服务机，维护服务机来间接维护hosts ，dns 服务机系统用 bind软件 来配置数目巨大的ssh 的配置会是一件非常麻烦，非常容易出错的事情；取代方案是NFS（网络文件系统），windows 网络邻居的协议采用samba ，linux 也支持，mnt 到对应

原创 调节web 程序常用的方法

firefox 的firedebug调节js 和页面请求浏览器里--f12---网络--所有---可以清楚看到所有请求和请求结果tomcat 里 可以收集所有错误日志，查看抛出错误即可eclipse 可以debug--debug configuration--remote java application--source ---add--java project ---

原创 开始玩hadoop13--pig （latin）和Hive

pig 是雅虎贡献给 Apache基金会的pig（客户端）--》pig latin--》mapreduce--》cluster基于stream 流的数据流操作流程 方式 运行程序sql --hive---mapreduce ---cluster桶对应的reducer--- 更快。pig 和 hive 的--UDF

原创 开始玩hadoop12--hbase设计和解决方案

有固定模式或者固定数学模型---与---速度量大的瓶颈----Hbase天生就是面向时间戳的查询基于行键查询异常快速，最近的数据被放到内存里，和可能都不会有很多的io操作分布式化解负荷 模式设计：浏览记录，中抽取最近访问的五个item行键：userid列族和列：book ：bookid充分利用分布式，可以用reverse key 和 hash 等技巧

原创 开始玩hadoop 11 --Hbase 入门 shell基础命令

查看HBASE 状态是60010 端口集群启动后，运行./hbase shell 命令查看状态 ：status 查看版本：version创建表：create ‘member’，‘member_id’，‘address’，‘info’（后面三个叫列族，后面会包含多列，多列的集合）查看表信息：list查看表结构(列族)：describe xxx删除列族：alter ‘mem

转载 开始玩hadoop10 高可用（HA）配置；Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0

应用地址在http://blog.csdn.net/onepiecehuiyu/article/details/45271493这一块我觉得大大超出了我对hadoop 难度的预期；额，我这里转了别人的一篇高可用的配置方法：我觉得手头要有这么多台机器，也不是很容易啊（虚拟机的话怎么主机性能也要跟上才行啊 。。。只有以后有机会去公司里玩玩了）core-site.xml<!-

原创 开始玩hadoop9--最后步骤（简单安装Hbase 和 zookeeper 的入门）

这里还是用之前的配置：hadoop 2.6.0 和 ubuntu 14.04 今天突然出现了一点小状况，我有一台机器vmware 里的 ubuntu server 怎么都连不上了检查原因尽然是 没有连上网，ifconfig 里也没有对应ip只有inet 6 address 网上说要重新分配一下地址才好使（sudo dhclient），可是我试过以后并没用没办法，选择vmwa

原创 阿里云-project--连接sdk--调用1

之前一直用的是C# 和visual studio 2010 + sql server看过我之前博客的朋友肯定知道我最近在痛苦的转变：转成java + eclipse所以算有一点的编程语法基础吧，但是工具的使用还是空白想通过这个项目好好补补：把阿里云下载下来的sdk解压会有两个jar包至于怎么导入到自己的项目里呢？在工程项目的根目录点击右键查看属性(Prope

原创 开始玩hadoop8--hadoop 2.6.0实战（第一个reduce程序,ubuntu 14.04）倒排索引

前面的几次我已经把hadoop所有的过程都说了，现在正式进入学习章节现在试着写一个reduce 程序测试数据在：13599999999 1008613899999999 12013944444444 1380013800013722222222 1380013800018800000000 12013722222222 1008618944444444

原创 开始玩hadoop7--hadoop 2.6.0 在eclipse里安装（第一个map程序）

经过之前的步骤，我的ubuntu环境全部搭建完毕我的建议是安全起见，每次不用hadoop 的时候，从namenode里把hadoop停掉；./sbin/stop-dfs.sh./sbin/stop-yarn.sh用的时候在把它重新启动；bin/hadoop fs -put input/ /porrylee // input is old path  /porry

原创 开始玩hadoop6--装hadoop（ubuntu 和 hadoop 2.6.0 的奇怪错误）

我觉得这篇帖子是我写的最重要的一篇帖子了。哈哈，肯定能帮上你不少忙。我真的是愁了两天多，全部通宵，一点一点实验出的经验，绝无虚假，我都有亲自做过。心好痛，对新手就是一种折磨啊。对我这种强迫症就是要把我逼上绝路啊。经过上一篇补充配置后，其实差别就在于===>我的前一篇的配置应该是hadoop版本2.*之前的，但是后面的补充配置是hadoop 版本 2.*以后的所以无论

原创 开始玩hadoop5--装hadoop（ubuntu14.04，hadoop-2.6.0，补充配置）

这里h5是master 的ip h1 和 h2 是slaves 的ip因为之前看的教程一直都都1.* 的版本，后来在网上才看到2.*的版本，才发现很多内容其实如果没有该文件，根本不用再建，因为已经淘汰用不上了。这里把内容再修改的内容重新归类一下实际在2.*之后用的是yarn 框架。（虽然目前我也不知道这个是个什么东西）但是要改动的文件如下：①~/