liutielei-CSDN博客

原创 spark-2.20 集成hive spark

1、下载spark2.2.0包2、解压3、计入配置目录 conf4、copy cdh中hive-site.xml hdfs-site.xml yarn-site.xml core-site.xml 到conf 目录下5、修改spark-env.sh,设置各变量及引入jar包 export SPARK_HOME=/home/cdh/software/spa...

2018-08-15 21:04:44 664

原创 hive根据身份证号判断性别

select no_cer,case when (case when LENGTH(no_cer)=15 then substr(NO_CER,14,1) when LENGTH(no_cer)=18 then substr(NO_CER,17,1) end)%2=0 then '女' else '男' end from bdl_dsc_eac01_blc limit 10;

2016-05-26 15:29:51 3704

原创 python将mysql表中数据抽取到另一个mysql库中，持续更新抽取到oracle中

import MySQLdbimport ConfigParserclass Mysql2Mysql(object): def getConn(self,filename,dbname): cf = ConfigParser.ConfigParser() cf.read(filename) db_host=cf.get(dbn

2016-04-07 12:40:13 3136

原创 python计算词频

网上看到一个面试题，描述如下：有一个文件file1，文件内容如下： Hello world Hello perlhello world Goodmorninggood news 123请用perl，python或者java写一个程序，计算file1中首字母大写的单词出现的次数。python实现代码如下：f=open('test','r+')l

2016-03-31 11:28:03 1150

原创数据挖掘之推荐分析--python实现

## FILTERINGDATA.py## Code file for the book Programmer's Guide to Data Mining# http://guidetodatamining.com# Ron Zacharski## -*- coding:utf8 -*from math import sqrtusers = {

2016-03-11 11:15:39 408

原创数据挖掘之曼哈顿距离、欧几里距离、明氏距离、皮尔逊相关系数、余弦相似度Python实现代码

# -*- coding:utf8 -*-from math import sqrtusers = {"Angelica": {"Blues Traveler": 3.5, "Broken Bells": 2.0, "Norah Jones": 4.5, "Phoenix": 5.0, "Slightly Stoopid": 1.5, "The Strokes": 2.5, "Va

2016-03-08 22:15:07 4536

原创 Python批量将excel文件转化为txt

# -*- coding: utf-8 -*- import urllib,osimport xdrlib ,sysimport xlrdreload(sys)sys.setdefaultencoding('utf-8')file_dir=r'E:\test\data\data\11'def open_excel(filename): try:

2016-01-19 18:49:57 4869 1

原创 oracle 查询哪些进程耗费资源以及拼接杀进程语句

SELECT x.SQL_TEXT, 'ALTER SYSTEM KILL SESSION ''' || S.SID || ',' || S.SERIAL# || ''';','kill -9 '||SPID, S.SID, S.SERIAL#, S.USERNAME, S.MACHINE,

2016-01-19 14:33:21 763

原创 shell脚本监控集群FTP是否正常，可上传下载文件

#!/bin/sh#########################################尝试登录集群各个节点，检查FTP是否可正常登录#登录失败或者上传文件失败则发邮件通知#######################################if [ -s err.log ];thenrm -f err.logfifunction login_f

2015-04-28 21:47:51 1162 1

转载 String 内存的介绍

一、两种实例化方式：String str = “abc”；String str = new String("abc");一个字符串就是String的匿名对象。"hello".equals(str) 一个字符串能够调用一个函数，可以看出，一个字符串是String的匿名对象。二、比较（1）直接赋值String str = “abc”；表示一

2012-05-08 10:27:54 356