- 博客(8)
- 收藏
- 关注
RSS订阅原创 Hive数据存储解析
1. Hive元数据信息表Hive元数据信息表详解TBLS表：SDS表：该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。COLUMNS_V2表：该表存储表对应的字段信息Hive表select查询先将存在hdfs中的文件内容都读取出来，再根据设定的表字段分隔符对每行数据进行分列，最后再根据COLUMNS_V2中记录的INTEGER_IDX和COLUMN_NAME对select出
2021-07-26 12:03:34
281
原创 SSD模型详解
ssd论文原文：https://arxiv.org/pdf/1512.02325.pdf参考代码https://github.com/PaddlePaddle/models/tree/develop/PaddleCV/ssdhttps://github.com/amdegroot/ssd.pytorchSSD网络总体描述网络组成简单结构，在ssd中输入网络的图片是经过augmenta...
2020-12-27 16:36:46
25075
6
原创 python 遍历文件夹，批量替换给定字符串为指定值
一、方法一#-*-coding=utf-8-*-import os#在read或者write文件时，有时出现了一点文件编码的问题，用log_file记录#处理异常的文件#利用work会遍历处理主目录下所有的文件#替换整个目录项目中的某个字符串log_file = 'D:\\BigData\\grpc\\log.txt'fl = open(log_file,'w+')def r...
2020-03-08 23:15:31
845
原创 宿主主机不能访问虚拟机端口的几点原因
1、虚拟机中直接关闭防火墙，或者设置防火墙过滤规则，开放某些端口对外可访问systemctl stop firewalld2、关闭centos的Selinux机制3、有可能时浏览器中正开启了代理机制，代理中又没有设置内部虚拟机的网络网段不进行网络代理访问...
2020-01-10 11:10:29
6951
原创 php调用rpc接口例子
一、实验环境1、etcd做服务注册中心2、golang写服务端，接受的request请求数据格式{“method”: “test_2”, “args”: [“aaa”, “bbb”]}3、分别用php和python做客户端，在客户端实现负载均衡（在所有提供某一函数接口的服务器中随机进行随机调用）注：etcd是一个key-value存储系统，可以为其指定前缀，便于在服务注册和发现时用于筛选...
2019-12-27 15:48:11
933
原创 php-fpm出现的问题
在使用nginx+php+postgres的环境下出现could not find driver，连接不上数据库，原因可能如下：1、可能是php没有安装相应的扩展，对于centos环境下，可以直接yum install php-pgsql（这个需要注意版本，如果是安装的php72，则应该下载yum install php72-pgsql)安装好之后最好是重启一下php-fpm，systemc...
2019-12-25 15:52:18
353
原创 tokenization、pad_batch_data用法
pad_batch_datafrom batching import pad_batch_datapadded_token_ids, input_mask = pad_batch_data( [[5,9,2],[2,3],[3]], pad_idx=6, return_input_mask=True)#print(padded_token_ids)print(pad...
2019-09-05 14:00:09
726
原创 Softmax详解及其反向传播过程推导
Softmax函数公式先讨论上面所述Softmax中的关键部分Pyi，再讨论为什么用-log(Pyi)传统的逻辑回归模型（Logistic Regression，LR）主要解决二分类题，Softmax则是逻辑回归模型在多分类问题上的推广。所以我们从分析LR模型入手从LR二分类模型理论推出为什么可以使用softmax训练神经网络1、LR线性模型公式2、LR二分类理论依据（1）logi...
2019-08-28 10:52:54
5079
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人