- 博客(10)
- 资源 (9)
- 收藏
- 关注
原创 spark-2.20 集成hive spark
1、下载spark2.2.0包2、解压3、计入 配置目录 conf4、copy cdh中hive-site.xml hdfs-site.xml yarn-site.xml core-site.xml 到conf 目录下5、修改spark-env.sh,设置各变量及引入jar包 export SPARK_HOME=/home/cdh/software/spa...
2018-08-15 21:04:44 680
原创 hive根据身份证号判断性别
select no_cer,case when (case when LENGTH(no_cer)=15 then substr(NO_CER,14,1) when LENGTH(no_cer)=18 then substr(NO_CER,17,1) end)%2=0 then '女' else '男' end from bdl_dsc_eac01_blc limit 10;
2016-05-26 15:29:51 3736
原创 python将mysql表中数据抽取到另一个mysql库中,持续更新抽取到oracle中
import MySQLdbimport ConfigParserclass Mysql2Mysql(object): def getConn(self,filename,dbname): cf = ConfigParser.ConfigParser() cf.read(filename) db_host=cf.get(dbn
2016-04-07 12:40:13 3144
原创 python计算词频
网上看到一个面试题,描述如下:有一个文件file1,文件内容如下: Hello world Hello perlhello world Goodmorninggood news 123请用perl,python或者java写一个程序,计算file1中首字母大写的单词出现的次数。python实现代码如下:f=open('test','r+')l
2016-03-31 11:28:03 1167
原创 数据挖掘之推荐分析--python实现
## FILTERINGDATA.py## Code file for the book Programmer's Guide to Data Mining# http://guidetodatamining.com# Ron Zacharski## -*- coding:utf8 -*from math import sqrtusers = {
2016-03-11 11:15:39 419
原创 数据挖掘之曼哈顿距离、欧几里距离、明氏距离、皮尔逊相关系数、余弦相似度Python实现代码
# -*- coding:utf8 -*-from math import sqrtusers = {"Angelica": {"Blues Traveler": 3.5, "Broken Bells": 2.0, "Norah Jones": 4.5, "Phoenix": 5.0, "Slightly Stoopid": 1.5, "The Strokes": 2.5, "Va
2016-03-08 22:15:07 4554
原创 Python批量将excel文件转化为txt
# -*- coding: utf-8 -*- import urllib,osimport xdrlib ,sysimport xlrdreload(sys)sys.setdefaultencoding('utf-8')file_dir=r'E:\test\data\data\11'def open_excel(filename): try:
2016-01-19 18:49:57 4885 1
原创 oracle 查询哪些进程耗费资源以及拼接杀进程语句
SELECT x.SQL_TEXT, 'ALTER SYSTEM KILL SESSION ''' || S.SID || ',' || S.SERIAL# || ''';','kill -9 '||SPID, S.SID, S.SERIAL#, S.USERNAME, S.MACHINE,
2016-01-19 14:33:21 778
原创 shell脚本监控集群FTP是否正常,可上传下载文件
#!/bin/sh#########################################尝试登录集群各个节点,检查FTP是否可正常登录#登录失败或者上传文件失败则发邮件通知#######################################if [ -s err.log ];thenrm -f err.logfifunction login_f
2015-04-28 21:47:51 1174 1
转载 String 内存的介绍
一、两种实例化方式:String str = “abc”;String str = new String("abc");一个字符串就是String的匿名对象。"hello".equals(str) 一个字符串能够调用一个函数,可以看出,一个字符串是String的匿名对象。二、比较(1)直接赋值String str = “abc”;表示一
2012-05-08 10:27:54 369
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人