- 博客(12)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hadoop hdfs HA 场景下JAVA API Client访问 HDFS
同事在用hdfs api 写入hdfs文件，2年前没有成功，这次一起解决了这个问题。详细代码如下：客户端需要指定ns名称，节点配置，ConfiguredFailoverProxyProvider等信息。代码示例：package cn.itacst.hadoop.hdfs;import java.io.FileInputStream;import java.io.InputS...
2019-08-26 15:09:45
707
原创 Datanucleus 应用
在排查hivemetastore 时，对它详细了解，看到用到Datanucleus，对它也进行了解，详细了解这个方面应用，看到下面官网资料比较详细。希望测底研究的朋友，进行详细了解。JDO : CachingCaching is an essential mechanism in providing efficient usage of resources in many systems....
2019-08-23 14:35:14
1526
转载 HiveMetaStore模块代码分析及多个节点压力测试
从package结构来看，主要的5个package，让我们来看看这几个package的内容(1)m有点etastore:是metastore模块的入口，也是整个metastore模块的核心所在，里面包含了HiveMetaStore类作为整个模块的核心，接收来自hive的请求，返回需要的信息。从package结构来看，主要的5个package，让我们来看看这几个package的内容(2)...
2019-08-20 16:01:27
1999
原创 Hive metastore整体代码分析及详解
配置：我们的hive server2 目前配置有2个节点，每个节点上都有metastore和hiveeserver2 服务。这就几天在排查hivemetastore 告警问题，由于hivemetastore 采用的是thrift 结构，对thrift 进行了了解，而本告警日志中timed out wait request for id 11202249. Server Stacktr...
2019-08-19 16:11:26
3316
转载 Hive架构和工作原理
一、Hive 架构下面是Hive的架构图。Hive的体系结构可以分为以下几部分：1、用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Serv...
2019-08-16 11:38:26
4694
原创 训练集样本不平衡问题对深度学习的影响
自己在进行人脸识别测试过程，开始利用自己的照片进行训练，由于开始准确率低，就开始增加自己照片的数量，开始是准确率提升，而后就开始降低，以前了解过这个方面知识，因此在网上找一些相关资料进行验证，后来发现有人进行过详细的测试，于是自己进行一些梳理。实验数据与使用的网络所谓样本不平衡，就是指在分类问题中，每一类对应的样本的个数不同，而且差别较大。这样的不平衡的样本往往使机器学习算法的表现变...
2019-08-11 19:37:16
4460
1
转载 AI实战】手把手教你文字识别（检测篇二：AdvancedEAST、PixelLink方法）
感觉作者非常不错，把自己的东西奉献出来，大家可以自学，另外自学困难可以找原创作者自然场景下的文字检测是深度学习的重要应用，在之前的文章中已经介绍过了在简单场景、复杂场景下的文字检测方法，包括MSER+NMS、CTPN、SegLink、EAST等方法，详见文章：【AI实战】手把手教你文字识别（检测篇一： MSER、CTPN、SegLink、EAST方法）今天将继续介绍复...
2019-08-11 09:33:17
2173
1
转载 【AI实战】手把手教你深度学习文字识别（文字检测篇：基于MSER, CTPN, SegLink, EAST等方法）...
文字检测是文字识别过程中的一个非常重要的环节，文字检测的主要目标是将图片中的文字区域位置检测出来，以便于进行后面的文字识别，只有找到了文本所在区域，才能对其内容进行识别。文字检测的场景主要分为两种，一种是简单场景，另一种是复杂场景。其中，简单场景的文字检测较为简单，例如像书本扫描、屏幕截图、或者清晰度高、规整的照片等；而复杂场景，主要是指自然场景，情况比较复杂，例如像街边的广告牌、产...
2019-08-11 09:19:05
1644
转载 如何降低 Python 的内存消耗量？
原文链接：https://data.newrank.cn/m/s.html?s=PigpOzA/LTE%3D在程序执行期间，如果内存中存在大量处于活动状态的对象，就有可能出现内存问题，尤其是在可用内存总量有限的情况下。在本文中，我们将讨论通过缩小对象大幅减少Python所需内存量的方法。作者 |intellimath译者 |弯月，责编 | 郭芮出品 | CSDN（...
2019-08-09 12:33:05
522
原创 mysql中blob,text字段的合成索引
在处理mysql 性能时，遇到了longtext 类型性能问题，在网上找了一些解决方案，感觉这个不错。整理文档供以后参考在mysql中，原来有一个叫合成索引的，可以提高blob,text字段的效率性能，方法一：但只能用在精确查询，核心是增加一个列，然后可以用md5进行散列，用散列值查找则速度快比如：create table abc(id varchar(10),cont...
2019-08-09 11:03:28
1862
原创 python模块和包
模块和包一 模块1 什么是模块？ 常见的场景：一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。 但其实import加载的模块分为四个通用类别： 1 使用python编写的代码（.py文件） 2 已被编译为共享库或DLL的C或C++扩展 3 包好一组模块的包 4 使用C编写并链接到python解释器的内置模...
2019-08-08 12:27:07
264
原创 Python3 模块路径问题彻解
让你的模块可用将模块放置在正确的位置，可用下面的函数查看“正确的位置”>>> pprint.pprint(sys.path)['', '/home/xx/$PYTHONPATH', '/usr/lib/python35.zip', '/usr/lib/python3.5', '/usr/lib/python3.5/plat-x86_64-linux-gnu...
2019-08-06 20:47:01
1410
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人