- 博客(636)
- 资源 (36)
- 收藏
- 关注
RSS订阅原创 pig基本语法——filter distinct foreach
1、主要参考：https://book.itxueyuan.com/3b7D/9PxP filter主要用户过滤数据，根据条件查询基础数据:==============================================[root@cdh1 data]# cat demodataxiaoxiao,12,12.1faaa,13,1.1fkjkj,12,...
2018-09-16 19:24:41
1069
原创 pig基本语法——union和split
union用于连接结构相同的表，split可以根据条件拆分表。1、基础数据：==============================================[root@cdh1 data]# cat demodataxiaoxiao,12,12.1faaa,13,1.1fkjkj,12,12.1fddf,19,12.8fyouyou,89,12.3f...
2018-09-16 19:23:56
1047
原创 pig基本语法——cross
主要参考：https://book.itxueyuan.com/3b7D/w5wQ 1、基础数据：==============================================[root@cdh1 data]# cat demodataxiaoxiao,12,12.1faaa,13,1.1fkjkj,12,12.1fddf,19,12.8fyo...
2018-09-16 19:23:12
941
原创 pig基本语法——join
主要参考：https://book.itxueyuan.com/3b7D/PDLO1、基础数据：==============================================[root@cdh1 data]# cat demodataxiaoxiao,12,12.1faaa,13,1.1fkjkj,12,12.1fddf,19,12.8fyouyo...
2018-09-16 19:22:43
1644
原创 pig基本语法——group cogroup
主要参考：https://book.itxueyuan.com/3b7D/openhttps://book.itxueyuan.com/3b7D/6AGg基础数据# cat /root/xytest/pig/data/demodataxiaoxiao,12,12.1aaa,13,1.1kjkj,12,12.1ddf,19,12.8 groupby ...
2018-09-16 19:22:08
1041
原创 pig基本语法——输入输出存储查看结构
参考官网地址：http://pig.apache.org/docs/r0.17.0/basic.html 基础数据# cat /root/xytest/pig/data/demodataxiaoxiao,12,12.1aaa,13,1.1kjkj,12,12.1ddf,19,12.8 常规的程序目前使用的都是pig -x local方式的A = lo...
2018-09-16 19:21:17
1102
原创 pig入门 基本的Hello-world
1、pig能够使用很多种方式，本地交互方式和集群mapreduce方式等。具体可以在官网上查看，网址：http://pig.apache.org/docs/r0.17.0/start.html 2、我们先使用本地文件方式。这种方式一般是在开发的时候使用的，因为开发的时候需要速度快一些，使用一小部分数据进行验证即可。开发完成后可以使用mapreduce方式。 交互方式本地 pig -...
2018-09-15 11:19:31
763
原创 spring boot定时任务中新建线程如何做到可控终止
最近遇到这样的需求，要求是定时的执行任务，但是这些任务能够根据控制及时的停止。首先定时任务可以直接使用spring中的schedule注解方式实现。那么如何控制已经启动的任务及时停止呢？ 下面说一下思路。首先利用spring的schedule注解方式进行定时任务的执行。然后，在每个定时任务中使用新建线程的方式进行任务的执行。在新建线程的run方法中通过检测开关的状态，如果开关开启，则抛...
2018-09-14 23:35:10
5729
原创 python 添加日志
python使用logging配置日志，方式如下：1、添加日志配置文件[loggers]keys=root,simpleExample,app,generateImg[handlers]keys=fileHandler,consoleHandler[formatters]keys=simpleFormatter,app,generateImg[logger_root]...
2018-09-09 22:24:10
1900
原创 java IO包学习（一）——inputStream outputStream Reader Writer
java中的io主要由四个抽象类组成：inputStream outputStream Reader Writer这四个抽象类分别对应了输入和输出，字节流和字符流。一般使用的时候是这样的 inputStream和outputStream对应的子类用来进行图片，视频等文件的处理，Reader和Writer用来进行字符流文件的处理，比如文本文件，尤其是文件中带有中文的。由于中文是占2个字节...
2018-09-07 23:22:17
398
原创 java Profiler记录程序执行时间
1、引入slf4j-ext<dependency><groupId>org.slf4j</groupId><artifactId>slf4j-ext</artifactId><version>1.7.25</version></dependency> 2
2018-09-05 22:54:01
2787
原创 python读取命令行参数
直接上货。#!/usr/bin/python# -*- coding: UTF-8 -*-'import argparseparser = argparse.ArgumentParser(description="say something about this application !!")# 正常的参数，带有默认值，type为intparser.add_argument(...
2018-09-05 17:00:39
672
原创 Netty搭建http服务端
最近一直在看netty的相关资料。现在模拟一个简单的http服务端程序：package com.xueyou.demo.server;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.ChannelFuture;import io.netty.channel.ChannelInitializer;im...
2018-09-02 23:18:21
1112
原创 java——抽奖（根据随机值进行抽奖，根据执行范围进行抽奖）
如题下面上货。需求是这样的，根据不同的概率抽出不同的奖金。例如：2%的概率为83%的概率为55%的概率为390%的概率为2package com.example.demo.demo;public class LuckyMachine { private static int[] money = {8, 5, 3, 2}; private sta...
2018-09-02 23:12:04
3610
1
原创 conda 管理多版本python
如题，在平时的开发中经常会有使用多个python版本的时候。conda能够进行python的版本管理。这里介绍一下如何安装和使用conda。好，下面上货。来自百度的一个介绍：Conda 是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。 简单的说就是可以使用conda对虚拟出多个python环境。然后可以每次选择一个pytho...
2018-08-13 23:21:35
5179
原创 ubuntu 安装charles
如题，下面上货。1、首先需要进入到官网。https://www.charlesproxy.com/documentation/installation/apt-repository/2、输入如下指令进行安装wget -q -O - https://www.charlesproxy.com/packages/apt/PublicKey | sudo apt-key addsu...
2018-08-13 23:01:51
1998
原创 python 获取毫秒数，计算调用时长
如题：在python的函数调用中需要记录时间，下面是记录毫秒时间的方法。import datetimeimport timet1 = datetime.datetime.now().microsecondt3 = time.mktime(datetime.datetime.now().timetuple()//这里调用你的方法t2 = datetime.datetime.no...
2018-08-05 10:06:28
9150
1
原创 avro序列化和反序列化——利用avsc文件方式
主要参考：https://blog.csdn.net/u013054888/article/details/64444908上一篇中（https://blog.csdn.net/wild46cat/article/details/80963111），我们在构建序列化和反序列化的时候，我们必须有avro编译出来的类文件，其实我们只要avsc的schema文件就可以进行序列化和反序列化。序列化：pac...
2018-07-08 21:50:55
5819
原创 avro序列化和反序列化——使用生成类方式
主要参考：https://blog.csdn.net/u013054888/article/details/64444908上一篇文章说的是如何通过.avsc的schema文件生成对应的java类。现在我们要研究的是avro的序列化和反序列化。序列化：package com.xueyou.avro.demo;import org.apache.avro.file.DataFileWriter;...
2018-07-08 21:47:04
1647
原创 avro的简单使用
和protobuf类似，在使用avro的时候首先需要进行编译，通过schema编译出对应的java类文件。但是有一点好处是，可以直接在项目中进行编译，不用每次都使用命令行进行编译。（可以对比一下protobuf，在使用protobuf的时候对schema文件要用protoc进行编译，然后放在工程里运行）本文主要参考：http://avro.apache.org/docs/current/getti...
2018-07-08 21:44:17
1887
原创 netty入门——TimeServer和TimeClient
主要参考：《netty权威指南》http://netty.io/wiki/user-guide-for-4.x.html当前没有处理tcp的拆包和粘包问题。先简单的介绍一下netty，netty是一个高性能的网通通信框架。以下摘自官网。The Netty project is an effort to provide an asynchronous event-driven network app...
2018-07-07 22:44:05
2258
原创 memcache1.5.8——stats 状态解释
本文参考：https://github.com/memcached/memcached/blob/master/doc/protocol.txt|-----------------------+---------+-------------------------------------------|| Name | Type | Meaning ...
2018-07-04 18:35:56
598
原创 memcache1.5.8——stats settings 解释
本文主要参考：https://github.com/memcached/memcached/blob/master/doc/protocol.txtstats settings 命令解释The "stats" command with the argument of "settings" returns details ofthe settings of the running memcached...
2018-07-04 18:33:49
532
原创 memcache1.5.8——slab自动分配验证
1、首先需要再启动的时候这样：memcached -d -m 4 -u root -p 11211 -o slab_reassign,slab_automove=12、然后利用python脚本写入memcache进行测试写小数据的程序#!/usr/bin/python# -*- coding: UTF-8 -*-from pymemcache.client.hash import HashCl...
2018-07-04 18:30:17
505
翻译 memcache1.5.8——LUR策略
主要参考：https://github.com/memcached/memcached/blob/master/doc/new_lru.txt在新的版本中需要使用“-o lru_maintainer” 来开启新版本的LRU。以前的：每一个slab class由一个独立的双向链表管理LRU。在最后的items会被reclaimed或者evicted。新版本的LRU有很大的变化：LRU被分成hot、w...
2018-07-04 18:08:35
396
原创 memcache原理1.5.8——内存分配与淘汰
本文主要参考：https://github.com/memcached/memcached/wiki/UserInternals好，下面上货。首先需要了解一下memcache是如何进行内存管理的。内存分配首先通过命令行的-m参数给数据预留内存。然后内存会按照默认每页1M大小分配给需要的slab class。然后这1M内存根据需要配切分成指定大小的chunks。然后看一下启动memcache时的一些...
2018-07-04 18:04:01
1834
1
原创 memcache安装——源码方式
主要参考：https://github.com/memcached/memcached/wiki/Install#from-a-package1、wget https://memcached.org/latest/2、修改文件名称3、tar -zxf memcached-1.x.x.tar.gzcd memcached-1.x.x这里需要保证已经安装libevent和libevent-devel ...
2018-07-02 16:17:39
540
原创 python操作memcache集群
首先需要知道的是，memcache集群和一般的集群不一样，memcache集群中的各个节点不是相互连通的。客户端决定要把数据放在集群的哪个节点上。下面是使用pymemcache的一个例子1、首先安装pymemcachepip install pymemcache2、然后下面是示例程序#!/usr/bin/python# -*- coding: UTF-8 -*-from pymemcache....
2018-06-30 11:21:24
560
原创 java线程间协作的另一种方式——await()、signal()、signalAll()
本文主要参考：《Think in java》ExecutorService中有一ReentrantLock，可以使用这个锁，同时还有对应的这个await()方法。使用这种方法的时候必须使用ExecutorService。我们还是以先扫地，再拖地的这个为例。首先创建调度器类：package com.xueyou.demo.threadcooperateexecutorservice;import...
2018-06-25 23:25:05
1916
原创 java线程间协作——wait()、notify()、notifyAll()
本文主要介绍进程间的协作。经常会有一个这样的问题，就是两个线程交替进行执行，当一个线程执行完成后，再执行另一个线程。那么现在我尝试些一个这样的程序：先扫地，再拖地，一直循环下去。1、先写一个控制扫地和拖地的调度器。package com.xueyou.demo.threadcoopreate;public class SweepAndMopDispacher { private boo...
2018-06-25 22:56:37
155
原创 java主线程捕获子线程中的异常
本文主要参考：《think in java》好，下面上货。正常情况下，如果不做特殊的处理，在主线程中是不能够捕获到子线程中的异常的。例如下面的情况。package com.xueyou.demo.theadexceptiondemo;public class ThreadExceptionRunner implements Runnable{ @Override public ...
2018-06-25 22:48:04
19133
4
原创 java线程的简单使用——runnable和callable
1、实现线程的方式有2种，一种继承Thread类，另一种是实现runnable接口或者callable接口下面是一个demo程序。首先是一个实现Runnable接口的类package com.xueyou.hystrixdemo.threaddemo;import java.util.Date;public class HelloWorldThreadRunner implements Runna...
2018-06-25 22:38:05
383
原创 hystrix具体配置——演示线程池满了的熔断情况
已经找到了熔断的条件（rolling window内请求数阈值，失败数占所有请求书比例阈值）,但是实在没有考虑到这个线程的因素的时候进行的。所以现在需要单独的看一下最大线程数对熔断的影响。也就是这三个参数（当然也可以不设置后面的两个参数）coreSizeThis property sets the core thread-pool size.maximumSizeAdded in 1.5.9. T...
2018-06-23 14:19:49
4778
原创 hystrix具体配置——演示超时熔断过程
1、引入maven依赖<!-- https://mvnrepository.com/artifact/com.netflix.hystrix/hystrix-core --> <dependency> <groupId>com.netflix.hystrix</groupId> <...
2018-06-23 14:08:38
10695
原创 hystrix不会占用容器的线程（tomcat等）
hystrix不会占用Tomcat线程池参考文章：https://github.com/Netflix/Hystrix/wiki/How-it-Works#threads--thread-pools一下是官网的说法和翻译Clients (libraries, network calls, etc) execute on separate threads. This isolates them fr...
2018-06-23 11:05:35
1490
原创 hystrix实现线程池隔离
本文主要参考：https://github.com/Netflix/Hystrix/wiki/How-To-Use#command-thread-pool需要在实现的时候记得在继承hystrixCommand的构造函数中实现添加线程池参数记性资源隔离。public CommandHelloWorld(String name) { super(Setter.withGroupKey(...
2018-06-23 11:03:12
2010
原创 hystrix如何配置configuration——线程模式、超时时间等等
主要参考：https://github.com/Netflix/Hystrix/wiki/Configuration在官网的说明上能够看到，有很多的参数配置，那么如何实现自定义的参数配置呢。官网上给出了说明。官网上的说明是这样的You can define an instance-specific default. Example:public HystrixCommandInstance(int...
2018-06-23 10:58:09
1939
原创 hystrix简单使用——fallback
本文主要介绍fallback，目的是能够在程序中看到fallback的处理。主要参考：https://github.com/Netflix/Hystrix/blob/master/hystrix-examples/src/main/java/com/netflix/hystrix/examples/basic/CommandHelloFailure.java官网上的原话是这么说的 Hystrix ...
2018-06-23 10:53:37
4477
原创 hystrix的简单使用——能够运行
本文主要介绍如何编写一个hystrix的demo程序。主要参考：https://github.com/Netflix/Hystrix/wiki/How-To-Use#Hello-World1、引入maven依赖<!-- https://mvnrepository.com/artifact/com.netflix.hystrix/hystrix-core --> <...
2018-06-23 10:44:45
1596
原创 Hystrix简介
本文主要参考：https://github.com/Netflix/Hystrix/wikihttps://github.com/Netflix/Hystrix/wiki/Configurationhttps://github.com/Netflix/Hystrix/wiki/How-it-Works先简要的说一下什么是hystrix。在分布式环境中，很多依赖的服务不可避免的会出现不可用的状态。h...
2018-06-23 10:34:32
328
androidListView下拉刷新Demo
2016-09-23
androidListView下拉刷新
2016-09-23
android ListView分页加载Demo
2016-09-22
Struts2+Spring+Hibernate+Maven框架整合
2016-07-26
JavaScript从入门到精通（第2版）.pdf
2016-03-16
bootstrap图片瀑布布局 Masonry插件
2017-01-18
hadoop mapreduce helloworld 能调试
2016-12-14
hbase java api 访问 查询、分页
2016-11-24
hbase java api 访问 增加修改删除（一）
2016-11-23
java api 访问hbase demo（Maven）
2016-11-22
jquery-easyui-tree学习
2016-10-09
maven+springmvc+spring+mybatis框架V1.0
2016-09-29
android自定义ListView控件实现下拉刷新、分页加载、item点击
2016-09-27
android自定义ListView控件实现下拉刷新
2016-09-27
android自定义轮播控件基于ViewPager
2016-09-27
android自定义文字轮播控件基于ViewAnimator
2016-09-26
android自定义轮播控件基于ViewFlipper
2016-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人