工作技能总结
记录日常工作中遇到的问题及解决方法
温蒂先生
不积跬步,无以至千里;不积小流,无以成江海~
展开
-
argmap 导出数据到excel
step2: 选择2处的 tools.tbx\excel\table to excel。step1: 点击1处的serch按钮;step3: 把想要导出的数据拖拽到3。step4: 设置导出文件位置。原创 2023-05-18 09:59:19 · 187 阅读 · 0 评论 -
windows 11 打包python镜像相关操作
运行中可能会报有我们在本地python环境下不会报的错误,如果遇到缺少依赖包的问题,就在requirements.txt中添加之后重新打包,当然网络不好的时候也会报错。在powershell中cd到程序所在目录,然后执行打包命令,等待打包完成,打包过程会联网请求依赖,打包时间长短取决于网速以及电脑性能。打包好的镜像在本机的docker上,如果想要部署到其他机器上,可以将镜像打包成tar包,实现镜像的迁移。打包完成之后,执行docker images命令,即可以看到生成的镜像。原创 2024-04-16 18:11:30 · 463 阅读 · 0 评论 -
1-EA使用技巧1
EA使用技巧1原创 2022-06-19 23:13:48 · 183 阅读 · 0 评论 -
从oracle数据库操作dmp文件
从oracle数据库导出dmp文件导出示例exp system/chensq2020@ORCL file=d:\daochu.dmp owner=(system)导入示例imp usename/password@SID full=y file= d:\data\xxxx.dmp ignore=y将数据库中system用户与sys用户的表导出exp system/manager@TEST file=d:\daochu.dmp owner=(system,sys)将数据库中的表table1 、t原创 2022-03-02 14:43:16 · 1055 阅读 · 0 评论 -
解决ORA-12523: TNS 监听程序无法找到适用于客户机连接的例程
PLQSL登录oracle遇到的问题及解决方案原创 2022-10-26 11:00:31 · 1790 阅读 · 2 评论 -
在linux文件下执行.kjb文件和trans文件
先找到kitchen.sh文件所在的位置新建一个sh文件(runKjbScript.sh),在文件中添加如下代码:kitchen.sh路径/kitchen.sh -file= 文件路径/kjb文件名称.kjb -log=日志名称.log可以配置成定时任务:例如每天下午17:30运行就可以写成:30 17 * * * cd /runKjbScript文件路径 && ./runKjbScript.shreload 生效:/etc/init.d/crond/reload参考博客:htt原创 2021-11-30 17:33:51 · 5199 阅读 · 0 评论 -
linux系统添加定时任务
– 举个例子,如果需要每个月1号凌晨启动一个文件,写法如下:先crontab -e 进入编辑模式0 0 1 * * cd 文件路径/ && ./文件名.sh就设置成功了原创 2021-09-29 14:14:27 · 92 阅读 · 0 评论 -
hive与本地数据互导
1 把hive中的文件导出到csv文件beeline -u "jdbc:hive2://ip:端口" -n 用户名 --outputformat=tsv2 -e " sql 语句" >文件路径/文件名.csv 2 把csv文件导入到hive数据库中hadoop fs -put 文件路径/文件名.csv hive表信息备注:表信息通过:show create table table_name来查询 hdfs信息...原创 2021-08-08 17:58:06 · 83 阅读 · 0 评论 -
SHELL 脚本两层循环示例
#!/bin/bash## 年月定义ym_arr=("201907" "201908" "201909" "201910" "201911" "201912" "202001" "202002" "202003" "202004" "202005" "202006")ym_len=${#ym_arr[*]}## 网省定义province_arr=("61" "37" "66")arr_len=${#province_arr[*]}for((i=0;i<ym_len;i++));do原创 2021-08-08 15:28:57 · 477 阅读 · 0 评论 -
hive sql文件的执行方法
------------------ --------1 执行不带参数的hql文件----------------------------hive -f 文件名.后缀实例:hive -f chensq_test1.hql------------------ -----2 执行带1个普通参数的hql文件--------------------------------- 直接在hive中执行---- select count(*) from 用户名.表名 c where c.列名 = '01'原创 2021-02-09 10:23:54 · 3868 阅读 · 0 评论 -
pip 升级
“You are using pip version 9.0.1, however version 19.1.1 is available.You should consider upgrading via the ‘python -m pip install --upgrade pip’ command”原创 2021-01-26 14:32:25 · 125 阅读 · 0 评论 -
pythonbit32升级到bit64
由于bit32 的python3.6.4 在安装tensorflow时, 遇到问题,报错内容为:Collecting tensorflow Could not find a version that satisfies the requirement tensorflow (from versions: )No matching distribution found for tensorf...原创 2021-01-26 14:32:06 · 1011 阅读 · 0 评论 -
python 3.6.4由bit32 换成bit64位带来的问题
由于bit32 的python3.6.4 在安装tensorflow时, 遇到问题,报错内容为:Collecting tensorflow Could not find a version that satisfies the requirement tensorflow (from versions: )No matching distribution found for tensorf...原创 2021-01-26 14:31:50 · 351 阅读 · 0 评论 -
pandas爬取表格数据
pandas爬取表格数据pandas read_html使用详解(一)如下网址所示https://www.cnblogs.com/litufu/articles/8721207.html以爬取西安天气数据为例,每个月的数据在同一个表格,以2021年1月为例,网址为http://www.tianqihoubao.com/lishi/xian/month/202101.html,而要爬取其他年月的数据,发生变化的只有年月部分对应的位置,所以一个for循环就可以遍历所有网址啦。URL的变动规律了解之后,就可以原创 2021-01-13 11:00:30 · 280 阅读 · 0 评论 -
linux 下调用python文件
在linux下直接调用python 文件的方法:在装有python环境的系统下执行:python 文件名.py利用shell文件调用python的方法:step01: 创建python脚本,例如:Pythontest.Rstep02: 创建shell脚本, 例如 runPythontest.sh,内容为:#!/bin/bashpython 路径/Pythontest.Rstep03: 给shell脚本赋权限(在控制台输入命令: chmod 775 runPythontest.sh),值得注原创 2020-06-10 17:24:14 · 1210 阅读 · 0 评论 -
python用 dataframe转化为字典——主要针对已知词频,用来制作词云图(图片)
oracle 操作表时没及时提交事务造成死锁问题,解决方案如下:-- 查死锁select session_id from v$locked_object;-- 查SERIALselect * from v$session where session_id = '';-- 杀死锁alter system kill session 'sid,#SERIAL'...原创 2020-06-09 09:12:54 · 1225 阅读 · 0 评论 -
pyecarts1.7.1 画带背景的词云图
在python3.6环境下,搭建pyechrts1.7.1的运行环境:方法如下第一步:进入http://pyecharts.herokuapp.com/网站,打开后点击:进入下载并解压到本地。第二步:进入cmd环境后执行cd pyechartspip install -r requirements.txtpython setup.py install环境就安装好了。现在做个简单的词...原创 2020-03-19 09:34:35 · 658 阅读 · 0 评论 -
python利用pyecharts画网页版的词云图(1)
step1 下载pyecharts的依赖包在cmd下执行pip install pyecharts==0.1.9.4step2 `import pyechartsimport jiebaimport matplotlib.pyplot as pltfrom pyecharts import WordCloudtext = open(r’G:\job_BDA\work2019\客户满意度...原创 2020-03-18 09:14:35 · 1369 阅读 · 0 评论 -
Python利用 cx_Oracle操作数据报错:UnicodeEncodeError: 'ascii' codec can't encode characters in position 157-1
https://blog.csdn.net/qq_40546896/article/details/80451985原创 2019-10-31 15:20:10 · 306 阅读 · 0 评论 -
PL/SQL报错:Initialization error Oracle client not properly installed
按照博客:https://blog.csdn.net/u012161134/article/details/51838914的方法可以解决原创 2019-10-24 17:47:20 · 352 阅读 · 0 评论 -
R语言环境的搭建
下载R语言安装包:网址为:https://cran.r-project.org/windows 或者linux,根据自己的需求点击选择就OKstep01: 下载安装包以点击Download R for Windows为例:点进去之后选择install R for first time点进去就可以下载任意版本的安装程序,然后一路安装即可。step02: 下载安装依赖包:点进...原创 2019-06-26 14:49:19 · 603 阅读 · 0 评论 -
Python3.6.4由 bit32 到bit64过程中遇到的问题及解决方案
这是我自己在安装过程中遇到的问题,一番搜索之后,集各路大神的智慧结晶, 记下所有的问题和对应的解决方法。由于bit32 的python3.6.4 在安装tensorflow时, 遇到问题,报错内容为:Collecting tensorflow Could not find a version that satisfies the requirement tensorflow (from v...原创 2019-06-21 11:06:18 · 1646 阅读 · 0 评论 -
linux 系统下执行R文件
随着数据量的激增, 在linux系统环境下执行数据分析模型显得很重要,本文来总结下在linux系统下执行R文件的步骤:step01: 创建R脚本,例如:Rtest.Rstep02: 创建shell脚本, 例如 runRtest.sh,内容为:#!/bin/bashRscript 路径/Rtesh.Rstep03: 给shell脚本赋权限(在控制台输入命令: chmod 755 run...原创 2019-06-11 10:11:37 · 7931 阅读 · 0 评论 -
Linux 系统环境下运行python文件出现的bug机以及整改方法
在windows环境下写好的python代码, 确定可以在windows下运行, 可是在linux下, 就报错了: bad interpreter: 没有那个文件或者目录, 因此需要在etc/profile 文件中配置python 的安装路径, 且在python 文件里面的第一行加入这样一行内容: #! /root/anaconda3/bin/python此外1)在windows下转换:利用一...原创 2019-05-23 16:09:08 · 629 阅读 · 0 评论 -
IDEA 搭建spark环境
step1 安装IDEA, 并破解step2 安装scala, 并配环境step3 下载maven,在创建工程的时候,选中maven所在的目录, 以及相应的settings.xml的位置step4 如果需要连接oracle, 则要加载odbc驱动step4 所需要的依赖都放在pom.xml中去加载...原创 2019-05-13 15:16:54 · 119 阅读 · 0 评论 -
在plsql中手动更改表中数据
利用代码修改表中数据效率低下,直接手动修改提升效率。修改方法,以emp表为例:step1: select * from emp for update;step2: 在表中左上角点击解锁按钮step3: 修改表中数据;step4:再次点击锁按钮,这次是锁住。step5:点击提交按钮;当你再次查询表中数据十,发现已经成功更新了 。...原创 2019-07-13 20:11:32 · 2329 阅读 · 0 评论 -
数据分析工作的步骤
随着大数据时代的到来,如何利用历史数据来指导未来,是数据分析师工作的核心任务,作为一名从事2年的数据分析工作的初级数据分析师,我把自己的看法叙述一下,希望路过的同道人士能够给与一定的指导与帮助。首先,要想做好数据分析工作,得做好业务调研工作,定位待分析事务存在的背景、发展事态。其次,需要定位分析的目标和方向,也就是掌握...原创 2019-07-14 10:38:09 · 408 阅读 · 0 评论 -
linux 系统下执行R语言脚本时后台启动和日志查看
随着数据量的激增, 在linux系统环境下执行数据分析模型时由于运行时间太长,会出现Connection closed by foreign host, 往往程序运行未结束时出现这样的错误,让人头疼,本文来总结下在linux系统下在后台执行R文件的步骤:step01: 创建R脚本,例如:Rtest.Rstep02: 创建shell脚本, 例如 runRtest.sh,内容为:#!/bin...原创 2019-07-30 14:18:21 · 3251 阅读 · 0 评论 -
ctl 往oracle里面导入数据
利用R或者python往数据库大批量的写入数据,效率低下且容易被客户端杀死,在我领导的鼎力帮助下,实现了用ctl往oracle里面写入数据,效率大大提高了。现在我把具体的操作方法分享一下:首先创建一个ctl文件:load data characterset utf8INFILE 'txt文件存放路径/文件名.txt'Append into table 表名fields termina...原创 2019-08-01 18:24:37 · 2068 阅读 · 0 评论 -
linux 下安装python环境
第一步:下载所需的安装包下载地址为:清华大学的镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/官网 :https://repo.anaconda.com/archive/这两个地址都可以下载第二步: 把下载好的包放在指定的目录,然后进行安装,在对应的目录下执行如下语句bash Anaconda3-2019.03-Linu...原创 2019-08-29 10:02:38 · 170 阅读 · 0 评论 -
python 网络爬虫小经验总结
使用python进行爬虫过程中,想要进行翻页爬取。但是每一页的网址都一样,让人很头疼,在朋友的帮助下我找到了一种可以翻页的方式,鼠标右键点击检查元素,然后点进去,可以找到可以翻页的链接。这样就可以根据每一页里面的内容获取相应的链接进行爬取我们需要的内容了。...原创 2019-09-03 17:49:18 · 244 阅读 · 0 评论