bymain的博客

scala类对象null值检测并填充。

beeline -e 执行多行sql 语法

工具类 实现 Java String类型日期转换成指定格式的Date类型输出。

具体报错如下：Starting MySQL. ERROR! The server quit without updating PID file (/opt/homebrew/var/mysql/QdeMacBook-Pro.local.pid).解决方案：linux下：sudo chmod -R 777 /usr/local/var/mysql/重启：systemctl restart mysqldMac：homebrew安装的。chmod -R 777 /opt/homebrew/var

直接从这里的阿里云镜像站点下就好了， csdn一堆要积分的，无奈之举。http://mirrors.aliyun.com/docker-toolbox/mac/docker-for-mac/

POJO类型：如果一个数据类型满足如下条件的话，就被认为是一个POJO类型：　　１、class是public的或者是独立的(不是非static内部类)　　２、class有无参构造函数　　３、所有class中的非静态的序列化问题： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-avro</artifactId>

**实现步骤，**1.new Java Bean ：val entitys = new RedisCacheEntity2.通过net.sf.json工具的JSONObject方法解析输入JSON，强转为Map val map: util.Map[String, Object] = JSONObject.fromObject(inputJson).asInstanceOf[util.Map[String, Object]]通过 将map内容拷贝到Bean对象 BeanUtils.po

问题： 在开发Scala 的异步io 的时候遇到点问题，Scala 中没有RichAsyncFunction（Rich类有open方法，可以做初始化操作现状： 目前确实不支持解决方法：在scala 中使用Java中有 的方法，然后再将流转换成Scala Stream， 目前只想到这样做比较笨重的方法，希望大家多多建议。第一步： 导入Java的包，并重命名重点是：import org.apache.flink.streaming.api.datastream.{SingleOutputS.

这里写自定义目录标题Sqoop 并行抽取数据根据sqoop源码的设计，我们可以使用--query语句中添加自增ID，作为split-by的参数，与此同时通过设置的自增ID的范围可以设置boundary。。Sqoop 并行抽取数据通常可以指定split-by 对应的zizengID 列，然后使用–num-mappers或者-m指定map的个数，即并发的抽取进程数量。但是有时候会碰到很多的表没有添加自增ID或者，整数型的主键，或者 主键分布不均，反而会拖慢整个job的进程。根据sqoop源码的设计，我们可

批量成绩文件夹：hadoop fs -mkdir -p /user/wtf/hivedata/temp/201912311001/d={27…30}/h={10…17}/m5={0…5}/批量创建文件：hadoop fs -touchz /user/wtf/hivedata/temp/201912311001/d={27…30}/h={10…17}/m5={0…5}/{1…3}.orc最终...

使用高德逆地理编码批量请求解析经纬度到具体的位置信息项目中涉及到要根据经纬度解析实际的地理位置，所以就需要搞一把。纵观出申请一个企业开发者账号，每天的api调用就可以达到300w次了，开心。个人开发者和企业开发者的调用限制：这是注册地址： https://lbs.amap.com/dev/id/chooseweb API调用参数下面是用python写的一个demo，可以参考一下...

通过名字可以很清楚的知道这是一个回调函数。官网定义：https://keras.io/callbacks/#remotemonitor实际效果：使用步骤参见这个步骤：http://vra.github.io/2018/03/18/keras-callbacks-remote-monitor/其中对于Python3 用户来说脚本 api.py 中有两处需要更改：第一处：开始导入...

项目地址：https://github.com/pandas-profiling/pandas-profiling安装方式：pip:pip install pandas-profilingpip install https://github.com/pandas-profiling/pandas-profiling/archive/master.zipconda:conda inst...

EdegNets这个项目中有很多值得我们学习的亮点：例如训练逻辑：向小分辨率，然后大分辨率transform等学习率控制策略：Hybird等网络架构比较轻便现在我们需要使用EdgeNets 訓練二分类分割任务：原项目：https://github.com/sacmehta/EdgeNets/blob/master/README_Segmentation.md根据原git项目，需要作...

最近的一台新win本需要装torch，试了一下之前的方法都不行了，现在贴出可以的教程：配置pip源：https://blog.csdn.net/zheng_lan_fang/article/details/786123921):在windows文件管理器中,输入 %APPDATA%回车2):会定位到一个新的目录下，在该目录下新建pip文件夹，然后到pip文件夹里面去新建个pip.ini...

训练信息：训练模式：分布式训练 Tesla p100 * 42分类配置模板：mask_rcnn_resnet101_atrous_coco_2018_01_28/pipeline.config使用预训练模型训练步数：20000具体报错信息：2.Traceback (most recent call last): File "object_detection/model_main...

解决：根据服务器上上的计算资源类型进入不同的的虚拟环境后再执行相应的脚本以 tensorflow object detection api 的模型导出部分脚本化为例：高亮部分就是判断当前主机是否有GPU，有就进入tensorflow-gpu版本的虚拟环境，不然就是进入cpu版本的环境#!/bin/bashshow_usage=“args: [–pipeline_config_path, ...

错误信息：Error: A JNI error has occurred, please check your installation and try againException in thread “main” java.lang.NoClassDefFoundError: org/slf4j/Logger解决：命令行临时导入下面这个变量，或者配置到环境变量中，即可。 #添加Had...

参考：https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/exporting_models.md设置参数 INPUT_TYPE=image_tensor PIPELINE_CONFIG_PATH=hdfs://master:9000/root/tfData/pipeline.co...

tensorflow 分布式脚本启动方式：https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/hadoop.md在分布式程序执行代码中使用multiprocessing 分别启动ps， master， workermultiprocessing.Process(target=star...