- 博客(15)
- 收藏
- 关注
RSS订阅原创 Docker 容器化部署zabbix server和web server
Docker 容器化部署zabbix server和web server
2023-07-15 17:56:56
611
原创 Apache hadoop yarn 上运行基于 Tensorflow 框架的机器学习
内容目录1 数据准备2 环境准备3 创建项目4 提交和运行5 总结参考资料机器学习开发和应用过程中包含的环节介绍和将基于 Tensorflow 框架的机器学习运行在 apache hadoop yarn 上的方法和流程(Introduction to the links involved in development and application of machine learning, and the method and process of running machine learning b
2021-11-22 10:03:30
2139
原创 Java程序中的代理作用和应用场景及实现
The role of proxy, application scenarios, and implementation in Java programs.代理是程序设计和开发时频繁使用的技术，可以提高程序灵活性和可扩展性。1 代理作用在不修改原代码的基础上，扩展和增强实现；代码解耦，在代理中通过参数可以判断真实类，做出不同的响应或调用，灵活方便；隐藏部分实现过程和细节。2 应用场景ICar接口类，有一个drive方法，传入speed(速度)行驶，现在已经有Mitsubishi(三菱.
2021-04-03 09:20:29
645
原创 Hadoop hdfs副本存储和纠删码(Erasure Coding)存储优缺点
The advantages and disadvantages of hadoop hdfs replicating storage and erasure coding storage.Hadoop 3.0.0-alpha1 及以上版本提供了纠删码(Erasure Coding)存储数据的支持，用户可以根据不同的场景和需求选择副本存储或EC存储方案，两种存储方案各有优缺点和适用场景。1 副本存储以文件大小：2.5G 写入HDFS为例；$ ls –ltr-rw-r--r-- 1 sywu .
2021-03-08 10:12:32
2048
3
原创 Hadoop源码：namenode格式化和启动过程实现
基于源码源码分析hadoop namenode格式化和启动过程实现(According to the source code analysis hadoop namenode formatting and startup process implementation.)Namenode 管理hdfs元数据和RPC服务响应客户端，初次使用时需格式化；元数据存储在edits和fsimage文件，其中 fsimage 保存最新的元数据信息，edits 保存自最新的元数据信息后的变化；edits 存储的信息.
2021-01-18 13:10:00
753
原创 Flink SQL结合Kafka、Elasticsearch、Kibana实时分析电商用户行为
使用Flink SQL结合Kafka、Elasticsearch、Kibana实时分析电商用户行为(Use flink sql to combine kafka, elasticsearch and kibana, real-time analysis of e-commerce user behavior.)Flink与其它实时计算工具区别之一是向用户提供了更多抽象易用的API，比如读写各类程序的connector接口、Table API和SQL，从数据加载、计算、一直到输出，所有操作都可以使用S.
2021-01-16 10:33:36
561
原创 Kafka 消费组消费者分配策略
基于kafka topic、分区、消费组和消费者原理，分析RangeAssignor、RoundRobinAssignor、StickyAssignor三种消费组消费者分配策略(Based on the Fundamentals of Kafka topic, partition, consumer and consumer group, analyzing the assigner strategy about RangeAssignor, RoundRobinAssignor, StickyAssi.
2021-01-01 09:56:25
465
原创 Hive LLAP
文章目录1 hive llap该怎么部署2 注意事项3 llap初始化4 性能测试5 总结链接微信公众号：苏言论理论联系实际，畅言技术与生活。LLAP是hive 2.0.0版本引入的新特性，hive官方称为(Live long and process)，hortonworks公司的CDH称为(low-latency analytical processing)，其实它们都是一样的，都是实现将数据预取、缓存到基于yarn运行的守护进程中，降低和减少系统IO和与HDFS DataNode的交互，具体的
2020-10-24 11:08:33
1308
原创 数据库连接池设计和实现(Java版本)
微信公众号：苏言论理论联系实际，畅言技术与生活。文章目录1 前言2 连接池应用场景3 设计4 开发测试软件版本5 源码6 使用示例6.1 定义数据库连接配置文件6.2 连接池的使用1 前言数据库连接池是目前系统开发必须面对和考虑的问题，原理并不复杂，主要是减少重复连接数据库的代价；在系统中创建预期数量的数据库连接，并将这些连接以一个集合或类似生活中的池一样管理起来，用到的时候直接拿过来使用，用完返回给系统管理；需要注意和主要的难点：连接池的同步；连接使用和空闲管理；连接池满时的管理和响应.
2020-09-13 09:30:19
330
原创 Hive insert overwrite 问题
微信公众号：苏言论理论联系实际，畅言技术与生活。文章目录1 测试的版本2 insert overwrite使用说明3 示例4 建议的操作5 参考链接1 测试的版本Apache hive 1.1.0/2.3.1/3.1.02 insert overwrite使用说明表类型使用场景hive操作逻辑非分区表insert overwrite table t select col from b先删除现有数据表目录，再插入新的数据，不存在旧数据保留的情况分区表inser.
2020-09-13 09:25:28
2962
原创 欢迎使用CSDN-markdown编辑器
替换SQL执行计划 Switching two different SQL Plan with SQL Profile in Oracle…当SQL是业务系统动态生成的，或者是第三方系统产生的，在数据库层面分析发现性能问题时，可能难以实现及时修改业务程序改善执行计划和性能；但可以在数据库层面找到有问题的SQL，调整和改造该SQL，然后将执行计划应用到原始的SQL语句中，步骤如下:在数据库层面
2016-11-23 11:47:38
185
原创 CentOS 7 运行级别切换
CentOS 7 之前的版本是通过 /etc/inittab 文件来定义系统运行级别:[sywu@wusuyuan ~]$ cat /etc/centos-release CentOS release 6.4 (Final)[sywu@wusuyuan ~]$ cat /etc/inittab # inittab is only used by upstart for the d
2014-07-31 13:12:33
332
原创 Oracle 更新Opatch、打补丁
1.更新Opatch;2.打补丁;3.grid 打补丁;1.更新Opatch(实验版本:oracle:11.2.0.3.0): 默认安装数据库后,在ORACLE_HOME 下会有个OPatch 文件夹,更新前先检查当前Opatch 版本: [oracle@sywu2 OPatch]$ ./opatch lsinventory Invoking OPatch 11.2
2014-06-29 21:03:31
1013
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人