Nube313的博客

一、需求：1、根据某种固定格式的excel转换拼接成sql建表语句；2、遍历每一个sheet；二、目标excel格式如下（无表头，每个表之间空一行）：中文表名1表名1中文字段名1字段名1字段类型表1table1名字namestring性别sexstring年龄agebigint表2table2名字namestring性别sexstring年龄agebigint…

一、需求1、将多台远端服务器上已归档的log日志文件拉取到本地服务器上；2、日志文件名有指定前缀及日期；3、远端服务器有空闲时段指定；4、下载后的日志文件有特殊命名要求；5、本地日志文件有保留期限，需定期自动清理；*6、下载指定路径下以日期yyyymmdd格式命名的文件夹，有多重子目录及文件；二、解决方案1、json配置文件：将多台远端服务器的信息汇总在json文件中，如server_ip，server_dir，server_port，username，password，prefix，fre

IaaS：基础设施服务，Infrastructure-as-a-servicePaaS：平台服务，Platform-as-a-serviceSaaS：软件服务，Software-as-a-service它们有什么区别呢？IBM 的软件架构师 Albert Barron 曾经使用披萨作为比喻，解释这个问题。David Ng 进一步引申，让它变得更准确易懂。请设想你是一个餐饮业者，打算做披萨生意。你可以从头到尾，自己生产披萨，但是这样比较麻烦，需要准备的东西多，因此你决定外包一部分工作，采用他人.

IData及DataQ使用心得*IData：工业大脑的工业数据中台*DataQ：数据资源平台

面试小结（软通动力-驻平安数据开发）主要考察知识面：Hadoop、Hive、MySQL1.绘制一个项目框架2.Hadoop组件3.Hive动态分区4.UDF使用过程（导包/classpath/自定义函数方法）5.Hive数据倾斜的原因和方法6.hive和传统数据库的区别（查询语言/数据格式/索引有无/执行/可扩展性/执行延迟/数据规模）7.hive分区在hdfs中怎么体现8. 案...

Hive项目实战笔记（本人的学习笔记，可转载但请跟我说一声并在引用文中说明出处，希望和大家共同进步