韦轩-CSDN博客

原创 kafka环境搭建

准备环境系统 CentOS release 6.6 (Final)下载并解压 wget http://mirror.bit.edu.cn/apache/kafka/0.8.0/kafka_2.10-0.8.0.tgz tar -zxvf kafka_2.10-0.8.0.tgz启动启动Zookeeper bin/zookeeper-server-start.sh config/zoo

2015-10-09 08:57:02 1034

原创 hadoop环境搭建

安装jdk# 查看java的安装包yum -y list java* #安装openjdk 8yum -y install java-1.8.0-openjdk*环境配置安装完成后，javac java 可正常使用#备份mv /etc/profile /etc/profile.bak#编辑vim /etc/profile## openjdk的安装位置在/usr/lib/jvm#追加e

2015-09-19 12:05:40 815 1

原创 Flask中的模板

模板在templates文件夹下面语法是{{ }}获取参数<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title></title></head><body>{{ context }}welcome {{ user.getName() }}</body></html>__author__

2015-09-18 14:35:58 863

原创 Flask 中的路由与反向路由

路由装饰器 @app.route() 告诉 Flask 哪个 URL 才能触发我们的函数。这也就是路由.之后，定义一个函数，该函数名也是用来给特定函数生成 URLs，并且返回我们想要显示在用户浏览器上的信息。from flask import Flask,request,url_forapp = Flask(__name__)@app.route('/')def hello_world():

2015-09-18 11:53:11 5595

原创 scrapy&mongodb基本使用

Scrapyscrapy组件数据处理流程Scrapy的整个数据处理流程有Scrapy引擎进行控制，其主要的运行方式为：引擎打开一个域名，时蜘蛛处理这个域名，并让蜘蛛获取第一个爬取的URL。引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。引擎从调度那获取接下来进行爬取的页面。调度将下一个爬取的URL返回给引擎，引擎将它们通过下载中间件发送到下载器。当网页被下载器下

2015-09-16 17:36:47 1067

原创代理设计模式

代理模式分类静态代理动态代理静态代理静态定义代理类类图：抽象角色定义代理角色和真实角色的公共对外方法真实角色实现抽象角色，实现真正的核心逻辑代理角色实现抽象角色，通过真实角色的业务逻辑方法来实现抽象方法，可以添加自己的功能代码/** * * @author Nicholas 其中，sing()是核心逻辑 bookTicket() 是非核心方法 */public i

2015-09-15 16:41:10 521

原创 Spring AOP

AOPAOP 的定义AOP(Aspect-Oriented Programming, 面向切面编程): 是一种新的方法论, 是对传统 OOP(Object-Oriented Programming, 面向对象编程) 的补充. AOP 的主要编程对象是切面(aspect), 而切面模块化横切关注点. 在应用 AOP 编程时, 仍然需要定义公共功能, 但可以明确的定义这个功能在哪里, 以什么方式应用

2015-09-14 20:51:09 445

原创 volatile

volatile的特点保证此变量对所有的线程的可见性。这里的可见性是指当一个线程修改了这个变量的值，新值对于其他线程是立即可以得知的。普通变量不可以，因为普通变量的值在线程间传递均需要通过主内存来完成，也就是说每次都要去主存中读写操作禁止指令重排优化volatile 并不能保证线程安全测试代码public class VolatileTest { public static vola

2015-09-10 22:46:15 606

原创排序III

场景I给你1个文件bigdata，大小4663M，5亿个数，文件中的数据随机,如下一行一个整数。现在要对这个文件进行排序，怎么办？　常规内排序假设内存很大，可以使用内排序中效率较高的几个排序算法快排 public static void quickSort(int[] data) { quickSort(data, 0, data.length - 1); } p

2015-09-10 21:12:00 448

原创排序II

归并排序归并排序的思想：假设初始序列含有n个记录，则可以看成是n个有序的子序列，每个子序列的长度为1，然后两两归并，得到[n/2]向上取整个长度为2或者1的有序子序列，再两两归并。这种办法称为2路归并排序。package com.weixuan.sort.merge;public class MergeSort { public static void printArray(int[] arr

2015-09-10 19:27:04 524

原创 JDK1.8 中的hashmap和concurrentHashMap

hashmap在JDK1.6中，HashMap采用Node数组+链表实现，即使用链表处理冲突，同一hash值的链表都存储在一个链表里。但是当位于一个桶中的元素较多，即hash值相等的元素较多时，通过key值依次查找的效率较低。而JDK1.8中，HashMap采用Node数组+链表+红黑树实现，当链表长度超过阈值（8）时，将链表转换为红黑树，这样大大减少了查找时间。hashMap的实现put方法的实现

2015-09-10 15:45:42 3188 3

原创 Maven 基本命令

常见命令mvn -v 查看mvn的版本mvn -compile 在项目的根目录中执行，编译项目mvn -package 打包mvn -test 运行测试用例mvn -clean 清理编译产生的target文件夹mvn -install 安装jar包到本地仓库自动创建工程目录方式一按照提示进行选择 mvn archetype:generate方式二 mvn archetype:generate -

2015-09-09 23:39:56 595

原创 HTTPS

httpsHTTPS其实是有两部分组成：HTTP + SSL / TLS,也就是在HTTP上又加了一层处理加密信息的模块。服务端和客户端的信息传输都会通过TLS进行加密，所以传输的数据都是加密后的数据.SSL（Secure Sockets Layer）网景公司设计的SSL（Secure Sockets Layer）协议用于对HTTP协议传输的数据进行加密，从而就诞生了HTTPS。TLS（Tran

2015-09-07 23:29:01 583

原创排序I

冒泡排序冒泡排序的基本思想是两两比较相邻记录的关键字，如果反序则交换，直到没有反序的记录为止。标准代码package com.weixuan.sort.bubble;public class BubbleSort { public static void bubbleSort(int[] data) { for (int i = 0; i < data.length; i++)

2015-09-06 12:39:46 530

原创串 && KMP

串串的定义串是由零个或多个字符组成的有限序列，又名叫字符串。一般记为s="a1a2a3...an"（n>=0）s = "a_1a_2a_3...a_n" （n>=0）串中的字符数目n称为串的长度。n==0的串也就是零个字符的串称为空串，长度为零，使用""表示。空格串，是指只包含空格的串，空格串是有长度的。子串个数串中任意字符的长度的子序列称为子串，子串在主串中的位置就是子串的第一个字符在主串中的

2015-09-05 00:07:17 576

原创哈希

散列的定义散列技术是在记录的存储位置和它的关键字之间建立一个确定的对应关系f，使得每个关键字key对应一个存储位置f(key)其中的对应关系f称为散列函数，又称哈希（Hash）函数,采用散列技术将记录存储在一块连续的存储空间中，这块连续的存储空间被称为散列表或者哈希表(Hash table)散列表的查找步骤存储时，通过散列函数计算记录的散列地址，并且按照这个散列地址存储该记录。查找时，通过同样的

2015-09-04 00:08:05 2380

原创 Java注解

注解定义用一个词就可以描述注解，那就是元数据，即一种描述数据的数据。所以，可以说注解就是源代码的元数据。Annotation是一种应用于类、方法、参数、变量、构造器及包声明中的特殊修饰符。它是一种由JSR-175标准选择用来描述元数据的一种工具注解有什么用？使用Annotation之前(甚至在使用之后)，XML被广泛的应用于描述元数据。XML配置其实就是为了分离代码和配置而引入的，而很多时候，希望使

2015-09-02 22:28:31 455

原创 Git的基本使用

参考廖雪峰的git教程git基本命令账户设置git config --global user.name "Your Name"git config --global user.email "[email protected]"创建版本库mkdir repositorynamecd repositorynamegit init版本库添加文件git add test.txt test2.txt

2015-08-31 14:38:55 1251 1

原创图 (中)

图的存储邻接矩阵考虑到图是由顶点和边(弧)两部分组成，那就分成两部分存储。图的邻接矩阵存储方式是用两个数组表示图，一个一维数组存储图中的顶点信息，一个二维数组(称为邻接矩阵)存储图中的边或者弧的信息。设图G中有n个顶点，则邻接矩阵是一个n×nn \times n 的方阵，定义为arc[i][j]={1,0,若(vi,vj)∈E或<vi,vj>∈E反之arc[i][j] = \begin{cases

2015-08-30 23:05:09 1102

原创图 (上)

定义图(Graph)是由定点的有穷非空集合和定点之间的边的集合组成。通常表示为G(V，E)，其中，G是一个图，V是图G中顶点的集合，E是图G中边的集合。定义的说明顶点(Vertex)：图中数据元素。没有空图的概念，顶点是非空集合边集可以是空的，边是用来描述顶点之间的逻辑关系。相关术语无向图若图G(V,E)G(V,E)中，顶点viv_i到vjv_j之间的边没有方向，则称这条边为无向边，用无

2015-08-30 17:10:06 1016

原创简单的图片验证

在编写爬虫爬去一个航空公司官网的时候，发现航班信息都是图片，比如航班号，舱位信息，价格，时间等。相对而言，图片相对比较简单，没有干扰线条，文字也是端端正正的。所以，可以处理.package com.weixuan;import java.awt.image.BufferedImage;import java.io.File;import java.io.FileInputStream;impo

2015-08-26 16:17:43 1116

原创初级排序算法之堆排序

堆排序的思想堆排序的具体算法，思想是每次取出堆的最顶层根节点，即数组下标为0，然后与最后一个节点即i+1交换。参考地址建堆过程：首先将原始队列构建成完全二叉树然后从第一个非叶子节点开始，比较当前节点和其孩子节点，将最大的元素放在当前节点，交换当前节点和最大节点元素。注意：如果根节点是a[0]，那么第一个非叶子节点就是倒数第二层的最后一个根节点，下标为length/2-1将当前元素前面所

2015-08-26 15:14:11 631

原创 Java中的内部类

内部类的分类内部类的特点可以使用private、protected修饰。也可以使用abstract、final等修饰.内部类可以直接或利用引用访问外部类的属性和方法，包括私有属性和方法（但静态内部类不能访问外部类的非静态成员变量和方法）。内部类所访问的外部属性的值由构造时的外部类对象决定.外部类要访问内部类的成员，则只能通过引用的方式进行，可问内部类所有成员内部类可以继承同级的内部类，也可继

2015-08-21 15:50:08 742

原创 Thrift 基本使用

数据类型基本类型： bool：布尔值，true 或 false，对应 Java 的 booleanbyte：8 位有符号整数，对应 Java 的 bytei16：16 位有符号整数，对应 Java 的 shorti32：32 位有符号整数，对应 Java 的 inti64：64 位有符号整数，对应 Java 的 longdouble：64 位浮点数，对应 Java 的 doubles

2015-08-14 14:39:03 1943

原创 IDEA & Maven & Spring & MyBatis 编写数据服务

Maven的webapp工程目录IDEA 中的项目截图忽视那个temptest文件夹使用 Maven创建webapp1.创建项目，选择Maven，模板选择 webapp2.填写相关的信息说明：maven是以 groupId artifactId packaging version来唯一标识一个项目的。 - groupId：用来标识团体，公司，小组，组织，项目，或者其它团体，一般以逆向域名开头。

2015-08-12 14:26:32 900

原创在linux上部署Java项目

在linux上部署Java项目查看tomcat的运行状态ps -auxwf | grep java或者查看端口的占用,具体端口看自己的配置netstat -lnpt | grep 8080启动和关闭打开 ./startup.sh 关闭 ./shutdown.sh查看MySql的运行状态/etc/init.d/mysqld status#已添加到系统服务，以下命令可以查看service my

2015-08-12 10:13:14 3882

原创 Spring核心组件之Context

Spring核心组件之ContextContext的相关类结构图ApplicationContext是context的顶层接口，这个接口继承了ListableBeanFactory，这说明了context中运行的主体对象是bean，同时，继承了ResourcePatternResolver，使得ApplicationContext可以访问到外部资源。ApplicationContext的子类主要包括

2015-08-10 21:11:46 1576

原创 Java中String的基础知识

Java中String的基础知识==与equal的区别基本数据类型，指的是java中的八种基本数据结构(byte,short,char,int,long,float,double,boolean)，一般的比较是使用的 ==,比较的是他们的值。复合数据类型(类)==比较的是两个对象的引用，可以理解为在内存中的地址，除非是同一个new出来的对象,他们的 ==为true，否则，都为false。equa

2015-08-08 22:39:31 1986

原创 Maven使用私服setting.xml中的配置

Maven使用私服setting.xml中的配置setting.xml中的配置使用maven,每次都是从中央仓库下载依赖包，网络很渣，只有使用Nexus搭建个私服。下面是setting.xml中的配置文件 <?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"

2015-08-07 15:44:49 9602

原创 Spring核心组件之Bean

Spring核心组件之BeanBean的类层次结构Bean的顶层接口是BeanFactory，在源码的位置是/spring-framework/spring-beans/src/main/java/org/springframework/beans/factory/BeanFactory.java DefaultListableBeanFactory实现了所有的接口。但是为什么需要定义这么多的接口

2015-08-02 22:16:04 1072

原创下载图片-使用beautifulSoup模块

图片处理 - 使用beautifulSoup模块标签（空格分隔）： python使用beautifulSoup模块使用BeautifulSoup对HTML内容解析之后，HTML内容就变成了结构化数据，可以轻易对其中的DOM元素进行操作，比如获取数据，修改，删除等。from bs4 import BeautifulSoupimport urllib,urllib2def getContext(url

2015-08-02 17:31:17 1807

原创下载图片-使用正则表达式

图片处理如何处理图片拿到网页使用正则表达式匹配使用urlretrieve下载图片import reimport urllib2import urllibdef getContext(url): ''' 获取html ''' html = urllib2.urlopen(url) return html.read()def getPicture(htm

2015-08-02 16:51:40 1730

原创 urllib2模块

urllib2模块标签（空格分隔）： python之前的存在的问题import urllib2url = 'http://blog.csdn.net/weiyongxuan/article/details/47193245'page = urllib2.urlopen(url)'''报错 urllib2.HTTPError: HTTP Error 403: Forbidden使用urllib2模

2015-08-02 15:59:42 635

原创 chardet字符集检测模块

chardet字符集检测模块chardet 字符集检测模块需要安装pip install chardet 可以检测网页，也可以检测字符串import urllibimport chardet'''从网页的头部信息可以查看的内容网页的大小,编码等(有时候可能为空)可以使用chardet来检测网页的编码'''url = 'http://baidu.com'headerInfo = urllib.

2015-08-01 23:31:01 1475

原创 Python简单的爬虫

Python简单的爬虫最简单的爬虫# -*- coding : utf-8 -*-import urlliburl = 'http://www.baidu.com'html = urllib.urlopen(url)print html.read()也可以打印出网页的其他信息#获取状态码print html.getcode()#获取传入的参数print html.geturl()#获取网页的h

2015-08-01 21:20:01 976

原创 Redis数据类型之字典

Redis数据类型之字典标签（空格分隔）： redisredis的字典字典又称符号表(symbol table)，关联数组(associative array)，或者映射(map)。是用于保存键值对的一种抽象数据结构。字典的key是唯一的，对键值对的操作基本都是基于key来操作的。redis中的数据库底层是使用字典来实现的，对于数据库的增删改查都是基于字典来实现的。redis的哈希键也是基于字典

2015-07-31 22:40:25 1037

原创 Redis数据类型之链表

Redis数据类型之链表链表的实现redis的列表的底层实现就是一个双链表，源码在src下的adlist.h和adlist.c链表的结点数据结构 /* * 双端链表节点 */ typedef struct listNode { // 前置节点 struct listNode *prev; // 后置节点 s

2015-07-30 22:47:56 796

原创 Redis数据类型之字符串

Redis数据类型之字符串redis的字符串redis的字符串不是C语言原生的字符串，而是自己构建的称为简单动态字符串(simple dynamic string),简称 SDS，和C语言原生的字符串相似，使用’\0’作为结尾。除了打印日志之外，我们操作字符串基本是在使用SDSSDS的在redis的主要功能 1. 保存数据库的字符串值 2. 用作缓冲区bufferSDS在redis的定义在源

2015-07-30 18:18:26 663

原创 java操作redis

Java操作redis简单的Jedis实例package com.weixuan.utils;import redis.clients.jedis.Jedis;/** * Create by fengtang * 2015/7/30 * JavaRedis */public final class JedisUtils { /** * 创建一个jedis链接. *

2015-07-30 16:09:37 1072

原创 redis配置集群

redis配置集群配置环境环境centos 6.6 redis 3.0.2为了方便，直接在一个文件夹下面复制三份redis的环境，后缀分别表示监听的端口号源码编译，进入src文件夹，make test，看看test能不能通过，然后make配置文件的核心配置,端口分别是10000,10001,10002 port 10000 cluster-enabled yes cluster

2015-07-29 18:29:35 2487