- 博客(10)
- 收藏
- 关注
RSS订阅
原创 hiveSQL执行，转化为MR过程
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。------ 百度百科hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了
2020-05-14 17:04:44
5475
翻译 pandas入门操作 最佳实践指南
十分钟入门pandas官方链接本文是参考一篇大神翻译pandas官方十分钟入门及官方pandas十分钟入门所写，加了一点自己的理解和注释，稍微丰富了一下前两篇佳作，实践版本 pandas_0.24目录1.0 创建对象1.1 通过传入一个列表数据创建一个Series，pandas默认会生成一个整形索引1.2 通过传入一个numpy的数组，一个时间列表作为索引，和列标签来创建一个D...
2019-04-02 21:30:08
1271
原创 java 自定义实体类通过反射取值赋值,反射过程中参数类型转换实现
java 反射是个很神奇的东西，此次开发中需要动态通过实体属性名取值和赋值，所以进行了一些简单研究。网上没有现成直接可使用的，所以分享一下我的做法。一般我们定义的实体类中一般都不止一种数据类型，通过反射取值可以对于数据处理会简单点，但是反射赋值过程中数据类型不一致就会导致赋值失败（很奇怪Object类型进去是不会触发隐式转换的），所以必须在赋值的时候先将传进来的参数类型进行转换。以下实体类中自定义的通过反射取值方法 public Object getFieldByColumn(String .
2020-09-29 13:22:19
2052
1
原创 Ubuntu16.04+cuda9.0安装教程
Ubuntu16.04+cuda9.0安装教程1.安装NVIDIA驱动 1）、官网安装最新适合自己电脑驱动首先去Nvidia 官网查找适配自己电脑GPU的驱动，我的电脑驱动版本如下： 执行如下语句安装NVIDIA驱动 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt-get up...
2018-07-12 14:51:15
1131
原创 Python实现天气查询源码_复制可执行，可用
Python天气查询源码本文爬去的是通过 Python3 中国天气网数据，包含查询城市十五天的天气情况及今明两天的生活指数本文实现查询有两个.py文件（city.py weather.py）注：city.py是城市数据字典 weather.py是查询源码先上图，以证成功weather.py 源码如下：from urllib import requestimpo...
2018-03-07 10:38:56
4163
转载 windows远程桌面连接树莓派
windows远程桌面连接树莓派通过xrdp服务 在网上看到很多关于windows远程桌面连接树莓派的教程。我也按照教程试过了，遇到了几个坑。特意记录在这。 先说正确的步骤。 1. 必须先安装tightvncserver！！！sudo apt-get install tightvncserver 2. 再安装xrdp服务。sudo apt
2017-12-25 22:40:07
2166
2
转载 树莓派无线连接上网及静态IP
一、查看网卡状态是否正常把无线网卡插到树莓派上，输入命令ifconfig -a查看是否有wlan0的信息，如果有说明网卡状态正常，可以跳过第二步，直接配置无线网络。如果查不到wlan0的信息，则需要安装无线网卡的驱动。二、查看无线网卡的信息输入命令dmesg | grep usb查看无线网卡的信息，主要是看制造厂家（Manufacturer）。比如，我的网卡信息是usb
2017-12-25 17:59:33
874
3
转载 树莓派虚拟键盘安装
如果自己树莓派没有键盘，我们可以安装一个虚拟键盘，这样一方面容易携带，另一方面也可以简约开发成本。以下是本人参考其他大神写的树莓派虚拟键盘操作文档以及自己的一点点意见。
2017-12-25 14:06:07
7123
转载 树莓派系统烧写及无屏幕操作
近日，入手了树莓派3b，准备做一些物联网相关的实验，配置如下：我买的套装是最简版的，只有一个电源线、一个塑料外壳，一个16G SD卡，几个散热片。捣鼓了几天，网上搜索了一些资料，在此记录下详细的过程，方便之后入手的朋友。一. 烧写树莓派镜像（需要一个SD卡读写器） 1. 进入官网 https://www.raspberrypi.org/downloads/ 下
2017-12-21 14:29:20
3827
原创 Hadoop集群shuffle机制详解
mapreduce中最重要的就是shuffle机制，只有深刻理解了shuffle机制，才能更好地写出MR程序
2017-12-15 15:44:40
733
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人