- 博客(48)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive之Python UDF函数操作map数据 详解 全是干货
#1、Hive基本操作：查看dw.full_h_usr_base_user的详细信息，可以获取数据文件的存放路径desc formatted dw.full_h_usr_base_user;dfs -ls dfs -ls hdfs://BIGDATA:9000/user/hive/warehouse/dw.db/full_h_usr_base_user;删除外表
2017-09-30 10:23:50
2838
原创 Python之Scrapy框架Redis实现分布式爬虫详解
1、创建scrapy工程scrapy startproject youboy2、scrapy工程目录介绍│ main.py #爬虫程序入口cmdline.execute("scrapy crawl youboySpider".split())│ scrapy.cfg └─spider_youboy │ items.py #定义要存储的字段，
2017-09-29 14:45:04
3787
1
原创 Hadoop之Hue3.9.0详细安装文档
HUE3.9.0详细安装文档友情提示，安装任何LUW软件之前，务必先阅读readme自带文档，里面有很多关键信息，不要拿着就开搞，浪费半天时间发现一大堆错误。1 环境准备...42 启动HIVE后台进程(确保HIVE安装OK)43 安装OS依赖包...44 编译安装HUE.64.1 编译Hue(保持服务器网络畅通)64.2 修改配置文件hue.i
2017-09-06 10:41:02
1235
原创 老男孩14期14周作业-简单的商城页面布局
html>html lang="en">head> meta charset="UTF-8"> title>农产品商城title>head>body style="margin:0px auto;"> div style="height:40px;background-color:#f1f1f1;"> div style="width: 1500px
2017-08-28 10:05:24
362
原创 Python3.5 微信图片-日期命名
#coding=utf-8#Version:python3.5.2#Tools:Pycharm'''本脚本主要功能：将微信手工保存的图片文件名称改成带日期的规范名称'''__author__ = "Colby"import os,sys,time,datetime,redef rm(dir,fileNameSource,fileNameTarget,houzui): '''
2017-07-18 18:03:39
2384
1
原创 Python3.5计算器之复杂表达式运算
一、需求有这么一个表达式：1 - 2 * ((60-30 +(-40.0/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2)))通过Python实现，自动判断括号以及加减乘除的运算优先级，得出运算结果同时允许用户自己输入表达式（限+-*/()），正确回显计算结果二、技术Python3正则表达式+函数递归
2017-07-12 13:59:40
3415
转载 Hive0.14Comment中文乱码解决
1.登录mysql变更hive的meta表use hive;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;a
2016-11-07 09:44:47
599
原创 Hive批量生成DDL脚本
获取表名称，进入hivehive> show tables;将表名copy赋值给变量list然后在Linux命令行敲入：for i in $list ;dohive -S -e "show create table $i"done至于保存在哪儿，根据个人爱好而定。
2016-07-31 18:50:14
958
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人