_shutter_-CSDN博客

原创 spark2.4 on k8s

spark on k8s获取下载链接https://spark.apache.org/downloads.html将包在服务器解压cd 到spark下面打包$ ./bin/docker-image-tool.sh -r <repo> -t my-tag build$ ./bin/docker-image-tool.sh -r <repo> -t my-tag push创建nfs文件夹创建pvapiVersion: v1kind: PersistentVo

2020-09-25 11:45:39 259

原创 java 线程安全_线程池

文章目录1. 线程安全demo2. 如何解决线程安全问题2.1 同步代码块synchronized2.2 同步方法（带有synchronized修饰的方法）2.3 静态同步方法2.4 Lock锁（jdk1.5之后产生的）3. 等待与唤醒机制3.1 线程之间的通行问题3.2 等待与唤醒机制4 线程池4.1 线程池的好处1. 线程安全democode：public class Runne...

2019-03-28 19:21:48 405

原创 java 多线程

文章目录多线程1 多线程demo2 Thread的方法2.1 获取线程的名字2.2 设置线程的名字2.3 sleep()2.4 Runnable接口实现多线程2.5 匿名内部类方法实现线程创建3 多线程4 线程与进程5 线程调度多线程1 多线程democodepublic class MyThredDo { public static class MyThred extends T...

2019-03-28 19:21:13 321

原创 Solr7.7.0 Solr 4.10.3 配置与使用

文章目录1. Solr简介2. 搭建环境2.1 复杂搭建2.2 简单搭建2.3 搭建7.X3. solr core 类比成mysql的database4. 使用solr控制台4.1 添加索引4.2 删除索引4.3 查询5. java代码操作solr——solrJ5.1 添加到索引库5.2 修改索引5.3 删除索引5.4 查询6. 添加自定义域名6.1 属性6.1.1 field6.1.2 dyna...

2019-03-09 00:28:26 736

原创 java_大数据_Hadoop_yarn_hive_sqoop

文章目录01_Hadoop集群搭建1.什么是hadoop1.1 hadoop中有3个核心模块：2.HDFS整体运作机制3.搭建HDFS分布式集群3.1.需要准备多台Linux服务器3.2安装，配置，启动HDFS3.2.1 上传hadoop安装包到各服务器3.2.2 修改配置文件3.2.3 启动HDFS3.2.4 hdfs命令行客户端的所有命令列表4 yarn4.1 配置yarn4.2 启动yarn...

2019-02-28 15:32:05 3691

原创 hive_搭建_启动_使用

1. 搭建hive1.1 上传hive安装包上传apache-hive-1.2.1-bin.tar.gz 压缩包解压在conf下面新建一个 hive-site.xml 文件hive-site.xml&lt;configuration&gt;&lt;property&gt;&lt;name&gt;javax.jdo.option.ConnectionURL&lt;/name

2019-02-25 23:10:23 711

原创 mapreduce小demo_自定义分组聚合规则

mapreduce小demo1.单词分类a.txt hello tom hello jim hello kitty hello rose b.txt hello jerry hello jim hello kitty hello jack c.txt hello jerry hello java ...

2019-02-24 00:21:10 637

原创 hadoop_wordcounts_yarn的配置_mr的简单使用

1.导入jar包 <dependencies>  <dependency> <groupId>org.apache.hadoop</...

2019-02-03 23:19:04 172

原创 Hadoop——读取hdfs在本地统计单词并将结果放回hdfs

1 文件目录2 wordConfig.properties配置文件CLASS_BUSINESS=com.looc.D04HDFS单词计数.WordCountRealizeHDFS_URL=hdfs://vm01:9000/HDFS_USER=rootOUT_PUT_SRC=/wordCount/result/RESOURCE_SRC=/wordCount/resource/3 ...

2019-01-29 20:29:33 569

原创一个基于java，hadoop的数据采集程序demo

1.文件分布2. 环境搭建参考：02_在window环境开发hadoop_HDFS3 需要采集的目录4 说明：需要采集的文件在accesslog里面并且以.log结尾采集的思路是先从accesslog移动进temp文件夹从temp向HDFS上传将temp里面的文件移动进backup文件夹此demo是采用读取配置文件来得到路径以及配置信息读取配置文件采用单列模式的懒...

2019-01-28 22:23:30 981

原创单列模式,饿汉式,懒汉式——java

1. 饿汉式/** * 单列设计模式饿汉式 * @author chenPeng * @version 1.0.0 * @ClassName PropertiesHolder.java * @Description TODO * @createTime 2019年01月28日 19:23:00 */public class PropertiesHolderHunger { ...

2019-01-28 20:04:32 152

原创 commonsIO——java

1 commons-IO1.1 FileUtilsreadFileToString(File file); 读取文件内容，返回一个StringwriteStringToFile(File file, String content); 将字符串写入file中copyFile(File srcFile, FIle destFile); 文件复制copyDirectoryToD...

2019-01-28 20:03:54 116

原创编码，序列化流与反序列化流——java

1 编码1.1 字符编码表(字符集)ASCII 码表：保存了数字，字母等A - 65，a - 97，0 - 48GB2312 码表：保存了常用的汉字（6-7千个），一个中文占两个字节，且都为负数GBK 码表：保存了基本所有的汉字（20000多个），不管中文还是英文都为2个字节，这两个字节可为正负Unicode 码表：统一码标(万国码标)不管是中文还是英文都是两...

2019-01-27 22:58:48 415

原创 java IO流，文件

1. IO 流1.1 根据流的流向分类Input 输入流Output 输出流1.2 根据流操作的数据来分类字符流：操作字符只能操作普通文本文件字节流：操作字节能操作一切文件1.3 java中的四大流字符输入流父类：ReaderFileReaderBufferedReader功能：读取一个字符，读取一个字符数组字符输出流父类：Write...

2019-01-26 23:45:13 205

原创 File，FileFilter——java

1. File类;文件和目录路径名的抽象表示1.1 构造File(String filepath);直接写路径File(String parent, String path);parent 父路径path 子路径File(File parent,String path)parent 先构造一个Filepath 这个File下面的路径1.2 获取方法S...

2019-01-25 17:13:41 170

原创 List，Set，Map，Properties——java

1. ListCollection 的子接口List接口特点：有下标有序性可重复1.1ArrayList 数组列表底层采用数组结构——查询块，增删慢方法：增加add(T t);//尾部添加add(int index,T t);//指定位置添加删除remove(Object o);//按值删除remove(int index);//按位置删除修...

2019-01-24 21:40:40 236

原创 java基础

1. 常量字符串常量整数常量小数常量字符常量：单个数字，单个字母，单个符号布尔常量空常量2. 进制二进制：0/1组成，以0b开头，b大小写都可以，JDK7可以表示二进制八进制：0-7，0开头十进制：整数默认十六进制：0-F，0x开头进制转换：3. 源码反码补码3.1. 源码就是二进制定点表示法，即最高位为符号位，“0”表示正，“1”表示负，其余位表示数值的大小...

2019-01-23 22:34:35 91

原创 System，Math类——java

1.System类它不能被实例化，因为构造方法私有化了它也不能被继承，因为System类中的方法都是静态的，可以通过域名直接访问1.1 System类中的几个常用方法1.1.1 exit(int code);退出JVM1.1.2 cg();运行java的垃圾回收器并不会马上运行1.2 getProperty(String PropertyName)获取某一个属性的...

2019-01-22 21:08:32 309

原创在window环境开发hadoop_HDFS_01

1. 在window环境开发HDFS（文件）1.1. 导入jar包i. 解压hadoop安装包ii. 导入/share/hadoop/common/Hadoop-common-2.8.5.jar 以及依赖包 lib下全部jariii. 导入/share/haddop/hdfs/hadoop-hdfs-client-2.8.5-tests.jar 以及依赖包lib下全部jar1.2. 开始...

2019-01-18 20:02:39 329

原创 Hadoop集群搭建

目录1.什么是hadoop2.HDFS整体运作机制3.搭建HDFS分布式集群3.1.需要准备多台Linux服务器3.2安装，配置，启动HDFS3.2.1上传hadoop安装包到各服务器3.2.2修改配置文件3.33启动HDFShdfs命令行客户端的所有命令列表1.什么是hadoophadoop中有3个核心模块：HDFS（分布式文件系统）：将文件分布式...

2019-01-17 23:02:21 332

原创时间处理，Date，DateFormat，Calendar——java

package com.cp.cpdate;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import java.util.GregorianCalendar;public class CpDate {...

2018-04-18 07:40:39 707

原创文件复制（shutil）——python

#copy文件shutil.copyfile("F:/main.html","F:/test.html")源码def copyfile(src, dst, *, follow_symlinks=True): """Copy data from src to dst. If follow_symlinks is not set and src is a symbolic link,...

2018-04-14 18:22:36 1299

原创 random——python

import random#产生一个0到1的随机浮点数print(random.random())#1到20的随机数print(random.randint(1,20))#1到2的随机数print(random.randrange(1,3))#取带范围的浮点数print(random.uniform(1,10))#产生随机字符 abcdef 中的一个print(random....

2018-04-13 22:10:57 225

原创 time——python

Python中，通常有这几种方式来表示时间：时间戳格式化的时间字符串元组（struct_time）(共九个元素)UTC格林威治天文时间，世界标准时间。UTC+8 中国DST 夏令时时间戳：时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。返回时间戳方式的函数主要有time()，clock()元组：struct_time元组共有9个元素 ...

2018-04-12 17:22:26 185

原创装饰器——python

import timeuser,passwd = "chenpeng","abc123"def auth(MyType): print(MyType) def login(func): def w(*args, **kwargs): username = input("UserName:") password =...

2018-04-08 10:41:46 101

原创生成器并行——python

import timedef consumer(name): print(name,"吃东西了") while True: dongxi = yield print(name,"快来吃",dongxi)def producer(name): c = consumer("冯勇") c2 = consumer("周瓜皮") ...

2018-04-08 10:39:40 168

原创生成器——python

#生成器只有在调用的时候才会生成响应的数据#只记住当前的位置#只有 next 方法不可回退c = (i*i for i in range(10)) #打印i*i 结果在0-10之间的iprint(c.__next__())def feib(max): n,a,b=0,0,1 while n<max: yield (b) a,b ...

2018-04-08 10:38:42 112

原创 Object与T

Object类无需自己引入编译器自动引入所有的类都直接或者间接的继承了ObjectObject适用于参数个数或类型未知的场合使用package com.cp.blog;class test{}/** * * MyObject * 创建人:chenPeng * 时间：2018年3月31日-下午10:18:36 * @version 1.0.0 * */public cl...

2018-03-31 23:14:13 387

原创数组——c

// 数组_稀疏矩阵.cpp: 定义控制台应用程序的入口点。//#include "stdafx.h"#include "stdio.h"#include "malloc.h"#define MAXSIZE 400//定义三元表typedef struct sanyuanbiao { struct sanyuanbiao *next; int i, j, v;}SanYu...

2018-03-31 09:39:21 295

原创排序——c

// 排序.cpp: 定义控制台应用程序的入口点。// 陈鹏20171125#include "stdafx.h"#include "stdio.h"//----------插入排序开始---------------void ChaRuPaiXu(int *Data,int length) { //传入数组和长度 int temp; //定义中间变量...

2018-03-31 09:39:06 194

原创堆排序——c

// 堆排序.cpp: 定义控制台应用程序的入口点。//#include "stdafx.h"#include "stdio.h"#include "malloc.h"#define MAXSIZE 100typedef struct yuanShu { char data; //数据 int weight; //权值}YuanShu;YuanShu...

2018-03-31 09:38:54 139

原创二叉树——c

// 二叉树.cpp: 定义控制台应用程序的入口点。// 三叉链表#include "stdafx.h"#include "stdio.h"#include "malloc.h"/****************测试数据AB#DF##G##C#E#H## left 左节点 right 右节点 top 上节点 dat...

2018-03-31 09:38:47 228

原创哈夫曼树——c

// 哈夫曼树.cpp: 定义控制台应用程序的入口点。// 陈鹏#include "stdafx.h"#include "stdio.h"#include "malloc.h"#define MAXSIZE 100typedef struct shuZhu { //给定数组类型里面只可以存放hTree类型的指针 struct hTree *p;}ShuZhu;//这颗...

2018-03-31 09:38:38 148

原创普利姆算法——c

// 普利姆算法.cpp: 定义控制台应用程序的入口点。// 陈鹏#include "stdafx.h"#include "stdio.h"#define MAX 1000int arr[9][9] = { { 0 ,10 ,MAX,MAX,MAX,11 ,MAX,MAX,MAX }, { 10 ,0 ,18 ,MAX,MAX,MAX,16 ,MAX,12 }, { MA...

2018-03-31 09:38:28 1184

原创图广度遍历与深度遍历

2018-03-31 09:38:18 411

原创串——c

// 串.cpp: 定义控制台应用程序的入口点。//#include "stdafx.h"#include "stdio.h"#include "malloc.h"#define MAXSIZ 256typedef struct seqstring { char data; struct seqstring *next;}SeqString;//初始化SeqStrin...

2018-03-30 23:23:08 175

原创顺序表——c

// 顺序表.cpp: 定义控制台应用程序的入口点。// 陈鹏20171126#include "stdafx.h"#include "stdio.h"#include "malloc.h"#define MAXSIZE 1024 typedef int elemtype; typedef struct sequlist{ elemtype data[MAXSI...

2018-03-30 23:22:09 394

原创链表——c

// 链表.cpp: 定义控制台应用程序的入口点。#include "stdafx.h"#include "stdio.h"#include "malloc.h"typedef int elemtype;typedef struct node{ elemtype data; struct node *next;}LinkList;//写入数据 x值 t位置int Ad...

2018-03-30 23:20:34 146

原创链栈——c

// 链栈.cpp: 定义控制台应用程序的入口点。#include "stdafx.h"#include "stdio.h"#include "malloc.h"typedef struct linkzhan { int data; struct linkzhan *next;}LinkZhan;//初始化LinkZhan *Init() { LinkZhan * top;...

2018-03-30 23:19:19 126

原创栈——c

// 栈.cpp: 定义控制台应用程序的入口点。#include "stdafx.h"#include "stdio.h"#include "malloc.h"#define MAXSIZE 1024typedef int elemtype;typedef struct zhan{ elemtype data[MAXSIZE]; int top;}Zhan;//初始化Z...

2018-03-30 23:18:15 167

Hadoop的windows环境搭建依赖jar包

文件自动归档，设置json

空空如也