- 博客(13)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 数据湖学习笔记
数据湖的理念：1、能够存储海量的原始数据结构化数据半结构化数据非结构化数据二进制数据（图片等）2、能够支持任意的数据格式底层存储：S3、OSS、HDFS，Parquet、Avro、Orc数据缓存加速轻量级索引3、有较好的分析和处理能力多种数据源接入、数据连接、Schema管理、权限管理，批处理、流处理、交互式分析、机器学习=============================Hudi特性：廉价存储、table schema、acid语义保证，多版本保证、支持流批读写不需强绑定
2022-04-02 18:21:39
363
转载 【转载】Swift里的CAP理论和NWR策略应用
转载自：http://blog.sina.com.cn/s/blog_57f61b490101a8ca.html最近有人讨论到swift副本数是否能够调整，3副本成本过高，如果改成2副本怎么样？多聊了几句以后发现不少人可能都是望文生义，简单的认为副本数只是多一个少一个Copy的问题，并不了解背后的理论依据。所以想写个简单的介绍，普及分布式系统设计的一些基础知识点。这个是按傻瓜版写的，已经知道的同学请自动无视。不同于传统的集中式存储，对于分布式存储系统来说，因为自身的复杂性，副本数并非简单拍脑..
2021-08-02 18:29:48
286
原创 广州大数据项目招资深大数据运维工程师
工作职责：一、负责大数据基础平台的运维负责大数据基础平台维护，确保集群稳定运行； 数据可用性检查，保证数据质量； 集群安全管理、数据安全管理、租户管理等；二、负责相关服务产品的落地执行制定各类日常维护和监控方案(业务)，保证系统稳定运行，业务数据信息准确无误。三、完成公司工程合同中的业务系统部署、联调测试，上线等工作配合工程团队完成各类工程合同的实施落地，包括新系统（软件）的部署，联调测试，上线等工作； 根据产品的版本规划计划和客户侧需求，完成现网生产环境的版本同步升级和配套服务支
2021-01-06 11:13:54
264
原创 转型大数据的一点心得
大数据这个话题实在太大，一篇小文装不下冰山一角。故只写一点自己从Java开发转型到大数据来的心得。大数据，其实也是分方向的，我总结为两个方向：大数据应用开发与大数据平台开发。区别是什么？简单地说，大数据应用开发是使用生态里的各种组件与平台，去实现各种大数据需求；而大数据平台开发，就是给大数据应用开发者开发这种平台。方向该挑哪个？这几乎没得选，各个公司对大数据的探索演进程度参差不齐，只是用用的，就只需要应用开发，要做数据中台的，就要平台开发。两种岗位对技能要求的区别：应用开发需要懂Hadoop生态，然后会
2020-07-11 17:59:01
349
原创 gorse试用
注：本试用是在win10下安装试用一、导入items成功：gorse import-items C:\Users\zhouxiujue/.gorse/gorse.db D:\golang\dataset\ml-100k\u.item2020/04/09 11:45:04 database status: 0 feedback, 0 items2020/04/09 11:45:04...
2020-04-09 16:18:36
1452
原创 clickhouse里物化视图如何跟随源表更新数据
创建两个源表，只有两个字段，通过id关联：CREATE TABLE default.test0 (`id` String, `name` String) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_granularity = 8192CREATE TABLE default.test00 (`id` St...
2020-03-16 17:11:03
10065
2
原创 clickhouse复杂时间格式转换
1、如果只用toDateTime，你需要拼接成一个完全按照YYYY-MM hh:mm:ss格式的字符串给它，否则，它会当你是一个从1970年偏移的毫秒去转换SELECT 20191231235959 as expire_date, toDateTime(20191231235959), concat(toString(floor(20191231235959/10000000000)), '-...
2020-03-12 14:41:59
17409
2
原创 clickhouse几种create table的情况
普通建表：CREATE TABLE dis_j.D_F1_shard on cluster cluster_demo (`product_code` String, `package_name` String) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192分布表：CREATE ...
2020-03-06 11:43:46
20903
原创 clickhouse修改默认数据目录和log目录
测试节点配置1、配置用户密码由于是测试，从简，只用明文<password>aspire123</password>2、修改数据目录创建数据文件夹/opt/aspire/product/isp_cert/opt/aspire/product/isp_cert/clickhouse安装时生成的默认文件迁移mv /var/lib/cli...
2020-03-03 22:17:54
7120
原创 clickhouse中Nullable与非空字段的建表与类型互转
--2020.3.3 有些表随着业务发展会涉及到增加字段 1、历史数据字段容许为空 2、历史数据字段补全 3、兼容性转换drop table default.ttttCREATE TABLE default.tttt(id String,name String) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_...
2020-03-03 10:51:15
20028
3
原创 clickhouse的left join、any right join、any left join实验
drop table jiakai.testJoin1CREATE TABLE jiakai.testJoin1(id String ,b String) ENGINE = MergeTree ORDER BY id SETTINGS index_granularity = 8192CREATE TABLE jiakai.testJoin2(id String ,b String...
2020-03-02 11:38:40
8261
Visual C++ Redistributable Packages for Visual Studio 2013（x64,x86两个)
2019-01-21
有java基础快速学Python摘要
2018-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人