- 博客(26)
- 收藏
- 关注
RSS订阅原创 使用R将csv文件批量导入hive库，并将数据转到指定表，因为文件中的字段可能多于指定表，顺序也有可能不一致，所以需要导入两次
【代码】使用R将csv文件批量导入hive库，并将数据转到指定表，因为文件中的字段可能多于指定表，顺序也有可能不一致，所以需要导入两次。
2023-07-27 08:07:00
178
原创 python读取csv文件生成建表语句和插入语句
import os# 生成SQL建表语句data_type = “TEXT” # 默认数据类型为TEXT，你可以根据实际情况自定义# 生成数据插入语句。
2023-07-26 07:26:52
246
原创 secureCat 无法拖文件到linux的问题解决方案
一、检查/etc/yum.repos.d/CentOS-Base.repo这个文件的配置问题一般系统自带的配置文件中镜像地址是国外的无法连接打开，可以将镜像地址修改清华的：把源站点配置改为国内清华大学站点https://mirrors.tuna.tsinghua.edu.cn/centos-vault，最终成功。或者阿里云，163等等本来是直接替换成163的配置文件，但是还是不行，后来有改成了清华的镜像（改了一部分），结果还是不行，才意识到应该不是163的镜像不行，而是有其他问题，然后有百度了一下，
2021-11-09 22:14:13
673
原创 python--爬取图片
# 爬取美女高清图片import reimport requestsfrom lxml import etreeimport urllibimport urllib.requestimport time# https://www.tupianzj.com/meinv/xinggan/list_176_2.html# https://www.tupianzj.com/meinv/xinggan/list_176_3.html# https://www.tupianzj.com/meinv/x
2021-03-25 08:16:31
233
原创 python--爬取豆瓣电影名和评分
# 爬取豆瓣网电影排名import reimport urllib.requestheader = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"}# https://movie.douban.com/j/search_subjects?type=movie&tag=
2021-03-24 22:45:56
1034
原创 Python--通过爬取有道进行翻译
import urllibfrom urllib import requestimport timeimport re# 构造请求头header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"}url = "http://fanyi.youdao.com/transl
2021-03-21 18:40:14
135
原创 Python--获取百度贴吧HTML文本
import urllibimport urllib.requestimport timefrom urllib import request# python 贴吧首页# https://tieba.baidu.com/f?ie=utf-8&kw=python&fr=search# 第二页# https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50 (2-1)*50# 第三页# https://tieba.b
2021-03-21 13:21:03
109
原创 Python--自动下载音乐
import reimport timeimport requestsimport json# 榜单第一页地址 http://www.htqyy.com/artist/musicList/1?pageIndex=0&pageSize=20&order=hot# 榜单第二页地址 http://www.htqyy.com/artist/musicList/1?pageIndex=1&pageSize=20&order=hot# 榜单第三页地址 http://www.
2021-03-19 00:07:36
290
原创 oracle---游标使用
--案例一通过游标处理多个返回集DECLARE --定义游标 CURSOR cursor_polno is select contno,polno,appflag,riskcode from lcpol where contno='886814401718'; t_contno lcpol.contno%type; t_polno lcpol.polno%type; t_appflag lcpol.appflag%type; t_riskcode lcpol.riskcode.
2021-03-08 14:54:58
280
1
原创 Python--对Excel操作
# # 读取Excel文件# import xlrd# # 打开已有的excel 表# a1 = xlrd.open_workbook("lcpol_1.xls")# # 打开excel数据表# table = a1.sheet_by_index(0)# # table = a1.sheet_by_name("SQL Results")# # 读取表格内容# # print(table.cel_value(1,1))# # 写入内容# import xlwt## new_workbo
2021-03-02 16:47:49
112
原创 Python--对word文档操作
#from docx import Documentfrom docx.oxml.text import paragraphfrom docx.shared import Ptfrom docx.shared import Inchesfrom docx.shared import RGBColorfrom docx.oxml.ns import qn# 新建空白文档doc1 = Document()# 新建文档标题doc1.add_heading("如何使用Python创建word文档
2021-03-02 13:27:46
167
原创 Python--文件的复制移动压缩解压
```pythonimport osimport globimport timeimport datetime# from tempfile import TemporaryFile## with TemporaryFile('w+') as f:# f.write('hello')# f.seek(0)# date = f.readlines()# print(date)# os.mkdir('新建文件夹')#批量创建十个txt文件# for.
2021-03-01 20:53:14
226
原创 oracle函数--正则表达式
select idno from lis.lcinsured where contno=‘130210007780789’and regexp_like(idno,’^(\d{15})|(\d{18})|(\d{17}\d|X|x)KaTeX parse error: Can't use function '\.' in math mode at position 32: …ike(idno,'^[0-9\̲.̲]+’)
2021-03-01 12:09:13
127
原创 oracle函数--replace 函数
如果为a=b,则替换为creplace (a,b,c)select replace('2019-08-04', '2019-08-04', '2019-09-04') from dual;去空格select replace('fdsfd fdf sd ',' ','') from dual;--fdsfdfdfsd--解决因为空格或大小写不一致导致查询不到结果问题select * from lis.ljfiget where upper(replace(accname,' ',''))
2021-03-01 11:28:26
679
原创 oracle函数--add_months函数
查询当前时间1个月以前的时间：select add_months(sysdate,-1) from dual;--2019/7/18 18:55:26查询当前时间1个月以后的时间：select add_months(sysdate,1) from dual; --2019/9/18 18:55:47如对公司员工表：查询2年前进入公司的员工的姓名：select Ename from Company where sysdate >add_months(time,2*12);上月第一天
2021-03-01 11:11:51
788
原创 mysql-8.0.16-winx64的最新安装教程
最近刚学习数据库，首先是了解数据库是什么，数据库、数据表的基本操作，这就面临了一个问题，mysql的安装，我这里下载的是64位的，基于Windows的，以下是在我电脑上的安装过程，希望可以帮助到大家。1.在mysql的官网上去下载，链接是https://dev.mysql.com/downloads/mysql/，如图1-1，1-2所示，点击downloads，然后会弹出图1-3，点击No th...
2020-02-23 14:38:07
173
原创 Python——读写文件
1.读文件fh1=open(r"C:\File\textfile\aaa.txt","r")#r--read 读取 fh1---文件句柄#一次性读取，不适合大文件的读入data=fh1.read()print(data)fh1.close() #每次操作完记得关闭文件流data1=fh1.readline()#按行读取一行datas=fh1.readlines()#按行读取所有文本...
2019-06-03 20:44:04
344
原创 数据库中case when 的用法
CASE WHEN 及 SELECT CASE WHEN的用法Case具有两种格式。简单Case函数和Case搜索函数。1.简单Case函数CASE sexWHEN '1' THEN '男'WHEN '2' THEN '女'ELSE '其他' END2.Case搜索函数CASE WHEN sex = '1' THEN '男' WHEN sex = '2' THEN '女' E...
2019-05-15 15:15:36
11255
原创 Python——函数and模块and pip
1)顺序传入参数def show(name,age,sex,hobby):print(“我叫：”,name,“年龄：”,age,“性别：”,sex,“爱好：”,hobby)show(“张三”,18,“男”,“打球”)
2019-04-23 21:06:36
199
原创 Python——选择结构 和循环结构
一、选择结构cunkuan=601.简单if判断if cunkuan>100:print(“可以买宝马！”)#须缩进print(“好开心！”)else :#后面不要跟条件print(“还是骑自行车吧”)2.多条件判断cunkuan=60if cunkuan >100:print(“买宝马”)elif cunkuan>50 :#执行完if 才执行elif,所...
2019-04-20 21:19:57
1495
原创 python笔记——运算符和列表
a=20b=6print(a/b)print(a//b)#舍弃小数部分print(a**b)#a的b次幂a+=3---->a=a+3#同理可运用于+ - * /print(a)---->232)#逻辑运算符and or not‘’’逻辑运算符左右两边放的都是bool类型‘’’a=11b=3!=3c=True#首字母必须大写print (b)print(a ...
2019-04-17 23:49:10
499
原创 判断一个整型数是否为奇数
写一个方法判断一个整型数是否为奇数public Boolean isOdd(int i){}完成上述方法。1。菜鸟的写法：public Boolean isOdd(int i){if(i%2==1){return true;}return false;}2.比较厉害的菜鸟public Boolean isOdd(int i){return i%2 !=0;}3.大神的...
2019-03-20 21:21:19
1482
原创 win10 配置java环境变量
win10 配置java环境变量配置JAVA_HOME首先打开环境变量的配置界面，新建一个系统环境变量：变量名：JAVA_HOME变量值：E:\JDK\JDK1.8其中变量值为你的JDK安装目录2. 配置CLASSPATH与JAVA_HOME的配置方法类似，再新建一个变量名为CLASSPATH的环境变量变量名：CLASSPATH变量值：.;%JAVA_HOME%\lib\d...
2019-03-19 22:19:42
459
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人