- 博客(41)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Flink消费binlog消息丢弃过期的消息
一般通过订阅mysql的binlog 异构数据到别的存储，如ES。 大概的流程为通过databus或者canal 这样的组件订阅binlog，发送kafka队列，通过flink消费kafka。因为我们这边业务比较特殊，导致mysql数据的变更有尖刺的情况，在业务高峰期数据变更的QPM为60W/分钟，flink最大的消费能力为20W/分钟，在这种消费速度和生产速度不对等的情况，ES的数据有会10分钟以上的延时。 因此需要提升flink的的并发数，但是当flink的并发数大于kafka p...
2021-01-04 15:24:29
607
原创 anaconde 在指定的环境安装库
conda install -n my_base torchvision -c soumith在 my_base 这个环境下安装torchvision，最近发现在anaconde 可视化的客户端无法安装torchvision，只能通过用以上命令的方式安装。...
2020-01-01 16:12:48
434
原创 hive row_number 去重 取第一条
假如根据id去重，取第一条数据，对应当前hive 语句为：select t.id, t.name, t.time_c from ( select id, name, time_c, row_number() over(partition by id order by time_c d...
2019-12-23 16:48:05
1942
原创 俩个线程相互交叉运行
/题目要求://有一个对象，对象中有一个status字段，字段类型是int，status的初始值为0。//有两个线程，一个线程将这个对象的status字段更新为1，另一个线程将这个对象的status字段更新为2。//要求这个对象的status字段的值被这两个线程交替更新，即121212，或者212121，均可。//要求每个线程更新status字段10次，请考虑使用线程同步的方式来实现，避...
2019-12-02 23:48:58
363
原创 mongo 从库不同步数据
最近mongo主库因为宿主机有问题，需要下线。大概的方案如下：1.原主库停写2.原从库升级为主库3.新增一台从库从新的主库同步数据发现在第3步的时候，从库一直不能拉到主库的数据，查看从库日志报如下错误：2019-11-21T16:34:10.970+0800 I REPL [replslave] local.oplog.$main oplog is empty...
2019-11-21 17:00:39
446
原创 spark写hive按照partition overwrite
刚发现spark写hive的是用overwrite后会把整个表删了，在执行插入，导致所有的partition都被删除了。期望是能按照partition去覆盖，而不是全表覆盖。研究了一下，以下方法亲测可行：建表语句：CREATE TABLE `student_table`( `id` string, `name` string) PARTITIONED BY ( ...
2019-11-08 16:05:19
2205
原创 databus安装 for mysql
一、前提工作安装mysql(5.5版本)，5.7的版本我试了，接收不到binlog，原因后续在排查。参看：mac用brew 安装mysql5.5 安装gradle(4.7版本)。因为databus源码是用gradle构建的；安装方法参考：gradle安装 从githun下载databus源码。https://github.com/linkedin/databus 下载ojdbc6.jar...
2019-09-27 13:53:46
1392
1
原创 mac用brew 安装mysql5.5
1.在终端敲命令搜索brew仓库有的mysql版本：brew search mysql可以看到有5.5 ,5.6, 5,7 等版本2.安装mysql5.5: brew install [email protected].配置环境变量 : vim ~/.bash_profile4.my.cnf 文件默认在：/usr/local/etc/my.cnf5.启动，关闭，重启m...
2019-09-27 11:16:38
566
原创 gradle 尝鲜
目录一、安装二、初始化gradle项目三、导入helloworld项目到idea四、运行gradle项目这几天打算看看学习学习databus。发现databus是用gradle管理。要编译项目必须要安装gradle。所以借此机会了解一下gradle。gradle和maven，ant一样都是项目编译，打包的工具。gradle比较先进一些，同时gradle也兼容maven。可能以...
2019-09-25 17:24:57
257
原创 布隆过滤器-BloomFilter
目录一、概述二、详解三、实现四、适用业务场景一、概述简单讲布隆过滤器就是判断一个列表中是否存在某个元素。一般在JAVA判断是否存在，我们可以Map，Set等容器。但是当数据量特别大的时候，用Map和Set会占用过多的内存。这个时候就会考虑用布隆过滤器了。二、详解要创建一个布隆过滤器首选需要在内存中声明一个Bit数组，假设数组的长度为L，初始值全部为0。 ...
2019-09-23 18:59:19
871
原创 hive分区之《静态分区》和《动态分区》
先准备一个基础表studentselect * from student;id name age sex-----------------------------1 zhangsan 19 boy2 lisi 18 girl3 wangwu 17 boy4 lucy ...
2019-09-10 21:57:19
325
原创 hive 常用语句
显示所有的databaseshow databases;使用某个databaseuse data_base_name_xxxx;显示所有的表show tables;创建表CREATE TABLE `student_2`( `id` int, `name` string)ROW FORMAT DELIMITED FIELDS TERMINATED...
2019-09-05 22:00:48
157
原创 hive 导入数据的几种方式
insert单条数据，需要hive版本在0.14以上(效率很低，不常用)insert into table student_1 values(2,'zhangsan');从本地文件导入到hiveload data local inpath "/root/xxx.txt" into table student; 从hdfs文件系统导入到hive表(会移动文件到hive默认hdf...
2019-09-05 21:54:15
301
原创 hive内部表和外部表
内部表创建方法：create table student( id int, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';使用desc formatted student; 查看表的描述信息，Table Type =MANAGED_TABLE ，说明该表为内部表在准备hdfs的/opt/tes...
2019-09-04 00:48:39
240
原创 hive的metadata、metastore 、hiveserver2、beeline 之间的关系
先解释一下几个名词：metadata ：hive元数据，即hive定义的表名，字段名，类型，分区，用户这些数据。一般存储关系型书库mysql中，在测试阶段也可以用hive内置Derby数据库。metastore ：hivestore服务端。主要提供将DDL，DML等语句转换为MapReduce，提交到hdfs中。hiveserver2：hive服务端。提供hive服务。客户端可以通过b...
2019-09-01 22:49:07
3162
1
原创 hive 单节点安装
准备工作：1.配置好JAVA_HOME2.安装好hdfs和mapreduce，请参考：hadoop hdfs mapreduce yarn 单节点安装3.准备好mysql，并新建hive库。4.下载hive安装包，本次使用hive 1.2.1版本：http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin...
2019-09-01 21:33:24
384
原创 hadoop hdfs mapreduce yarn 单节点安装
为了学习和测试，可以将hadoop的所有功能都安装到一台机器。1.配置JAVA_HOME，因为hadoop运行依赖java环境2.下载hadoop包2.6.5版本，下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5/hadoop-2.6.5.tar.gz3.解压安装包后，修改安装包路径/etc/hadoop目录...
2019-09-01 19:47:48
258
原创 pandas
一、pandas seriespandas series 是像数组一样的一维对象，可以存多数种数据类型。1、创建pandas seriesimport pandas as pdstudents = pd.Series(data=['张三', '男', 23], index=['姓名', '性别', '年龄'])print(students)print(students.sh...
2019-07-28 18:05:57
185
原创 07 numpy 算数运算和广播
一、算数运算a.加减乘除import numpy as npx = np.array([1, 2, 3, 4]).reshape([2, 2])y = np.array([5.5, 6.5, 7.5, 8.5]).reshape([2, 2])print('x = {}\n'.format(x))print('y = {}\n'.format(y))print('x +...
2019-07-13 12:37:27
153
原创 06 numpy 布尔型索引 集合运算 排序
目录一、布尔类型索引二、集合运算三、排序一、布尔类型索引import numpy as np# 创建arrarr = np.array([[1,2,3],[5,2,8],[1,2,3]])print('arr = \n{}\n'.format(arr))#获取arr 中元素大于3的元素A = arr[arr >= 3]print("A = {}\n...
2019-07-13 11:21:29
268
原创 05 ndarray 切片
目录一、切片方法二、copy方法复制三、diag 获取对角线元素四、unique获取唯一的元素一、切片方法我们除了能够一次访问一个元素之外，NumPy 还提供了访问 ndarray 子集的方式，称之为切片。切片方式是在方括号里用冒号:分隔起始和结束索引。通常，你将遇到三种类型的切片：1. ndarray[start:end]2. ndarray[start...
2019-07-09 00:08:31
6355
原创 04 ndarray 读取和修改
我们可以从 ndarray 中获取想要的任何子集。通常，在机器学习中，你需要使用切片拆分数据，例如将数据集拆分为训练集、交叉验证集和测试集。一、访问元素我们可以通过索引和方括号[] 访问和修改ndarray中的数据。import numpy as nparr = np.arange(10)print("arr={}".format(arr))print('arr第一个元素=...
2019-07-08 23:25:18
4284
原创 03 使用numpy内置函数创建ndarray
目录一、zeros二、ones三、full四、eye五、diag六、arange七、linespace八、reshape九、random使用ndarray提供的内置函数可以快速，简单的创建需要的ndarray数组。一、zerosimport numpy as np#np.zeros 创建用0填充的ndarrayarr = np.zero...
2019-07-08 00:36:44
334
原创 02 numpy ndarray
目录一、介绍二、创建ndarray三、ndarray 的类型 dtype四、ndarray 写入文件一、介绍ndarray 是numpy的核心，ndarray是一个多维数组的数据结构，而且这个多维数组的结构可以根据需要改变形状，形状指的是多维数组的列和行。同一个ndarray里的数据类型相同。二、创建ndarray#导入numpyimport numpy ...
2019-07-07 20:05:51
398
原创 01 numpy 序言
在开始之前我们先做一个简单的性能测试，我们随机生成1亿个0 到 1之间的数，然后求平均值。看看python自带sum方法和numpy的耗时：import numpy as npimport timex = np.random.random(100000000)startTime = time.time()avg = sum(x) / len(x)print("sum方法耗时:{0...
2019-07-07 18:08:55
133
原创 00 numpy 介绍
目录一、介绍二、安装三、参考文档四、numpy学习目录一、介绍numpy 是 Numerical Python的简称，Numpy是Python中基础科学计算的软件包，Numpy为Python提供大量的数学库，使我们能够高效的进行数学运算。二、安装使用pip安装，关于pip的文章请参考pip安装教程。1、检查本地是否已经安装 numpy :pip sho...
2019-07-07 10:48:21
1144
原创 07 python pip
目录一、pip介绍二、安装三、常用命令一、pip介绍pip 是python管理包的工具，和java的maven类似。二、安装具体安装步骤参考：https://www.runoob.com/w3cnote/python-pip-install-usage.html三、常用命令pip --version ：显示pip的版本号 pip install -U ...
2019-07-03 23:43:43
226
原创 00 python 介绍
目录一、安装第一步：检查本机是否安装python第二步：下载安装包第三步：安装二、helloworld三、运行python脚本四、课程目录这几年随着大数据和机器学习的崛起，python也越来越火。对于程序员来说掌握python显得越来越必要了。最近因为工作需要，所以打算学python。我有java的基础，所以本教程适合有编程基础的，不合适没有编程基础的同学。一、...
2019-07-03 00:31:20
297
原创 06 python 进阶
目录一、脚本编写1、编写脚本2、运行脚本二、捕获异常三、读写文件1、读文件2、写文件3、with 读取文件四、import 关键词五、导入本地脚本六、__name__七、标准库一、脚本编写python 是一种脚本语言，脚本与java，c#等编译性语言的主要区别在于是否编译。相对于编译性语言而言，脚本更加随性。写完了脚本，直接就可以在某种具有...
2019-07-02 00:25:38
121
原创 05 python 函数
目录一、定义函数二、调用函数三、变量作用域四、Lambda 表达式一、定义函数#参数名后面加等于表示默认值def add_calc(a, b = 0): return a + b二、调用函数#调用方式1,指定a 和 b的值print(add_calc(a = 3, b = 5))#调用方式2,相当于a=5，b=默认值print(add_cal...
2019-07-01 17:47:01
145
原创 04 python 控制流
Python中使用缩进控制代码的作用域范围。这一点和java有很大的不同，java使用大括号{}符决定作用域的范围；python使用缩进空格来表示作用域的范围，相同缩进行的代码是处于同一范围。一、条件 if 语句season = "summer"if season == 'spring': print('plant the garden!')elif season == '...
2019-06-30 20:01:36
118
原创 03 python 数据结构
目录一、列表 list1、创建列表2、获取列表元素3、切片（从列表获取多个元素）4、in 和 not in 判断列表中是否包含某元素5、修改列表的元素6、列表方法6-1）len()6-2）max()6-3）min()6-4）sorted()6-5）join()6-6）append()二、元组 tup1、创建元组2、获取元组元素...
2019-06-30 14:25:53
192
原创 02 python 字符串的方法
官方文档：https://docs.python.org/zh-cn/3/library/stdtypes.html#string-methodsstr.lower() ：转换为小写 str.islower() : 字符串里所有的字母是否为小写 len(str) : 返回字符串的长度 str1.count(str2) : str1中含有str2的数量更多方法请参考官方文档str ...
2019-06-29 17:00:39
115
原创 01 python 运算符与数据类型
目录一、运算符二、变量三、数据类型一、运算符+加 - 减 * 乘 / 除 % 取模 ** 取幂 // 相除向下取最接近的整数 += 加等于(x += 2 等于 x = x + 2) -= 减等于# 等于 5print(2 + 3)# 等于 3print(4 - 1)# 等于 4print(4 * 1)# 等于 1.66666666pr...
2019-06-29 11:22:47
159
原创 老生常谈关于MYSQL事务隔离级别(IsolationLevel)
一共有那几种隔离级别？分别叫什么？不同的隔离级别会有什么的问题？这些网上一搜一大把，我就不在墨迹了！看下面一个表就足够了。隔离级别对照表 事务隔离级别 脏读 不可重复读 幻读 读未提交（read-uncommitted） 是 是 是 读已提交（read-committed） 否 是 是 可重复读（repeatable-read...
2018-09-02 01:38:10
3044
原创 ThreadLocal源码解析
最近面试关于ThreadLocal的问题竟被一面和二面的面试官同时问了。问怎么实现的？以前都是知道怎么用，没看过源码。所以没回答上来，感觉在这种低级的问题上丢分很不值当，所以抽空看了一下ThreadLocal的源码。记录下来，加深印象。言归正传。ThreadLocal 即线程本地变量。即每个线程持有一个变量的副本，线程对变量的操作只针对于变量值的副本。ThreadLocal和同步锁都是用来实现...
2018-08-12 23:23:02
216
原创 五分钟搞明白JAVA的软引用，弱引用，虚引用
对于大部分对象而言，程序里会有一个引用变量引用该对象，例如 Object o = new Object();这种引用方式就是常见的引用方式，强引用。除此之外，java.lang.ref包下提供了三个类: SoftReference,WeakReference和PhantomReference，它们分别代表系统对对象的三种引用方式：软引用，弱引用和虚引用。因此，Java对对象的引...
2018-08-05 23:35:18
307
原创 在京东工作是一种什么样的体验
楼主是2016年入职京东，2018年离职的！当初入职的时候想可能会在京东呆2到3年的时候，没想到提前就离开了，但还是挺感谢老东家的！也感谢当初给我机会的领导。在京东和身边的同事们相处的都愉快的，离开了心里也有很多的不舍。祝大家都心想事成。 离职的时候拍了一些京东的照片，发到这里！给想去京东的同学们一下参考，我是在亦庄总部的职场，京东在北京有三个职场分别是：亦庄总部...
2018-08-04 00:15:34
6330
5
原创 log4j JDBCAppender 消息中有单引号 BUG
用log4j的JDBCAppender 输出到数据库如果 消息中有单引号，就会报SQLException。解决办法就是重写JDBCAppender1.新建类MyLoggingEventpackage com.ikuboo.custom;import org.apache.log4j.Category;import org.apache.log4j.Priority;impo...
2016-06-07 11:30:07
1530
3
原创 struts2.0传递中文参数,action重定向传中文参数,redirectAction传中文参数
一.action重定向 1.action 里面编码:selTeam ="二期"; selTeam =java.net.URLEncoder.encode(selTeam,"UTF-8"); 2.struts.xml中配置: resultname="toBespeakList"type="redirectAction">
2016-02-24 13:38:50
591
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人