Linux
泥鳅812
这个作者很懒,什么都没留下…
展开
-
linux的shell命令做数据统计分析
【代码】linux的shell命令做数据统计分析。原创 2024-04-30 23:36:26 · 99 阅读 · 2 评论 -
Could not load dynamic library ‘libnvinfer.so.7’
tensorflow Could not load dynamic library ‘libnvinfer.so.7’原创 2023-04-15 00:12:39 · 916 阅读 · 0 评论 -
pypi & condaforge
pypi & condaforge原创 2023-03-09 01:24:51 · 175 阅读 · 0 评论 -
【yum】 doesn‘t have enough cached data to continue
yum缓存不够的解决方案原创 2022-11-06 16:05:05 · 461 阅读 · 0 评论 -
C++_in_windows
C++在windows配置原创 2022-11-04 03:32:52 · 170 阅读 · 0 评论 -
Linux(Centos7)无法读取ntfs的U盘及ntfs-3g安装
# 首先扩充自己的yum源,包括官方及非官方# yum官方:一般你的机器里yum库可能只是国内镜像sudo yum install yum-priorities# 非yum官方:rpmforge 选择合适最新的版本下载安装wget https://www.rpmfind.net/linux/dag/redhat/el7/en/x86_64/dag/RPMS/rpmforge-release-0.5.3-1.el7.rf.x86_64.rpmrpm -ivh rpmforge-release-0.原创 2022-01-04 01:45:21 · 2179 阅读 · 0 评论 -
win10升级nvidia、cuda、cudnn,非常简单
#和Linux不同,windows关心的细节真的太少了。#更新nvidia驱动,有4种方式:"1、nvidia experience程序界面注册账号,首页即可更新最新驱动。2、计算机管理、设备管理器、显示适配器、Nvidia...GPU,右击【更新驱动程序】3、官网下载驱动,不建议4、cuda升级时把驱动也同时更新"# 更新cuda:"1、确认【nvidia设置,系统信息,组件,3D设置,NVCUDA64.DLL】中本机的适配cuda版本2、官网下载合适的【cuda_11.5.1_4原创 2021-12-07 23:59:34 · 2515 阅读 · 0 评论 -
Linux(centos7)升级Nvidia至cuda11.5,cudann8.3,适配tensorflow2.7,torch1.10非常简单
# 切换root账号操作# 进行一些依赖库的升级也很必要# 卸载驱动和cudanvidia-uninstallcuda-uninstaller# 关闭 nouveaulsmod | grep nouveauvim /lib/modprobe.d/dist-blacklist.conf# 去掉 nvidiafb 注释# 添加:blacklist nouveauoptions nouveau modeset=0# 重建initramfs image:mv /boot/initra原创 2021-12-07 13:23:16 · 2696 阅读 · 0 评论 -
Linux(centos)读取U盘数据
## 切换到root用户## 插拔U盘,观察2次变化ls /dev/sd*fdisk -l## 确认为sdd1之后,在mnt挂载,最好新建目录:mkdir -p /mnt/udisk## 挂载mount /dev/sdd1 /mnt/udisk## 读取数据:cd /mnt/udisk## 解除挂载:umount /dev/sdd1...原创 2021-12-06 13:10:58 · 4584 阅读 · 0 评论 -
docker和redis
# 配置目录redis_dir=~/Install/redis-6.2.3# 配置文件vim $redis_dir/redis.conf# 启动服务nohup $redis_dir/src/redis-server $redis_dir/redis.conf &# 启动客户端$redis_dir/src/redis-cli -a password原创 2021-06-01 15:07:23 · 153 阅读 · 0 评论 -
elasticsearch简单操作
es操作查看索引:curl -X GET 'localhost:9200/_cat/indices?v&pretty'查看节点:curl -X GET 'localhost:9200/_cat/nodes?v&pretty'创建索引:curl -X PUT 'localhost:9200/customer?pretty&pretty'删除索引curl -X DELETE 'localhost:9200/customer?pretty&pretty'.原创 2021-02-03 11:05:55 · 172 阅读 · 0 评论 -
lightgbm(gpu)在linux(centos7)安装
#保证gpu是正常可用的:nvidia-sminvcc -V#进入root权限,且python环境为你正常使用环境,比如anaconda3,而不是python2.7#首先进行必要的升级:#cmake>=3.2(eg: v3.16.8)#https://cmake.org/download/./configuremakemake install#boost>=1.56(eg: v1.61)#https://dl.bintray.com/boostorg/release/原创 2020-07-03 11:19:07 · 1037 阅读 · 2 评论 -
tensorflow2.x使用cuda10.2(非常简单)
# 目前tensorflow2.2官方标配cuda10.1,也是官方在github给出方案,修改cuda软链接即可,非常简单。# 前提是你已经正确安装cuda10.2,检查:nvidia-sminvcc -V# 干正事(重点就这一步):cd /usr/local/cuda-10.2/targets/x86_64-linux/lib/ln -s libcudart.so.10.2.89 libcudart.so.10.1# 检查是否可用:source /etc/profile>原创 2020-06-17 15:05:20 · 21892 阅读 · 23 评论 -
linux设置静态ip
#检查现有的网络连接配置nmcli connection showip aifconfigroute -n# 修改配置文件路径 root权限/etc/sysconfig/network-scripts/ifcfg-*(device)# 修改完service network restartrebootping baidu.com# vim ifcfg-*(device)TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPRO原创 2020-06-17 14:47:25 · 243 阅读 · 0 评论 -
linux: export path
PATH=$PATH:$HOME/.local/bin:$HOME/binexport PATHexport SPARK_HOME=/Users/xyl/Install/spark_install/spark-2.4.5-bin-hadoop2.7export PATH="SPARK_HOME/bin:$PATH"## pip install packages:export PATH=...原创 2020-04-24 16:32:01 · 370 阅读 · 0 评论 -
linux(centos_redhat)裸机配置
sudo yum upgrade#sudo yum updatesudo yum -y install# anaconda:libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver# vim:gcc gcc-c++ ncurses-...原创 2020-04-24 16:08:23 · 271 阅读 · 0 评论 -
terminal及vim高亮
在~/.bash_profile中修改: 1 ## terminal hignlight: 2 export CLICOLOR=1 3 export LSCOLORS=gxfxaxdxcxegedabagacad 4 #export LSCOLORS=exfxcxdxcxegedabagacad 5 #https://www.cnblogs.com/Oven5217/p/111...原创 2020-04-04 01:32:14 · 945 阅读 · 0 评论 -
pyspark&pandas之字符串筛选dataframe
#pandas:import numpy as npimport pandas as pddf = pd.DataFrame(np.array([['banana',1],['apple',2],['pear',3]]).reshape(3,2))df.columns = ['a','b']df2 = df[df['a'].str.contains('l')]print(df2)...原创 2019-02-23 06:15:45 · 3129 阅读 · 0 评论 -
linux命令(杀任务,看日志,查目录大小,打包压缩,上传文件, pyspark json jar)
yarn application -listyarn application -killhadoop job -listhadoop job -kill原创 2018-06-05 17:24:50 · 1213 阅读 · 0 评论 -
pyspark_dataframe
from __future__ import division,print_functionimport timeimport datetimeimport numpy as npimport pandas as pdfrom pyspark import SparkContext,SparkConffrom pyspark.sql import SparkSession,Column...原创 2018-09-17 20:24:50 · 409 阅读 · 0 评论 -
读写
r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。r+ 打开一个文件用于读写。文件指针将会放在文件的开头。rb+ 以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。w 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。wb 以二进制格式打开一个文件只用于写入原创 2017-02-21 15:56:34 · 327 阅读 · 0 评论 -
linux命令出错解决方案
linux命令出错解决方案export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin原创 2017-05-09 15:32:59 · 612 阅读 · 0 评论 -
数据库端口号
数据库端口号mongodb: localhost: 27017.sqlserver默认端口号为:1433URL:"jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=dbname"DRIVERNAME:"com.microsoft.jdbc.sqlserver.SQLServerDriver";mysql 默认端口号为:3306原创 2017-05-29 18:55:55 · 317 阅读 · 0 评论 -
如何操作Xshell
如何操作Xshell原创 2017-07-13 10:24:02 · 234 阅读 · 0 评论 -
Redhat之linux定时任务命令
Redhat之linux定时任务原创 2017-09-13 17:14:27 · 1560 阅读 · 0 评论 -
linux自动化
crontab -e i –>insert 粘贴 shift+insertPATH=/root/anaconda3/bin#m h d m w command# 0 3 * * * python /home/hadoop/datas/ids.py >/home/hadoop/logs/ids.log 2>&1 5 * * * * python /home/hadoop/xxx/app.py原创 2017-09-14 16:39:53 · 182 阅读 · 0 评论 -
安装cuDNN官方教程
http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#install-windows原创 2018-02-05 18:57:08 · 15483 阅读 · 0 评论 -
hive_sql优化
-- 优化时间计算导致的资源消耗 ---- 优化hive性能:tez,spark,lmpala,mapreduce; 矢量化---- set hive.execution.engine = spark;-- set hive.vectorized.execution.enabled = true;-- set hive.vectorized.execution.reduce.enabl...原创 2018-04-25 17:32:15 · 273 阅读 · 0 评论 -
shell中 '\r': command not found 解决办法
sed -i 's/\r$//' <filename>原创 2018-05-18 17:36:59 · 2512 阅读 · 0 评论 -
hive测试服务器分区表感悟
-- hive表 创建时间,所在hdfs目录show create table <tablename>;-- hive表 更新时间show table extended like <tablename>;以下是,从公用服务器下载hive表为文件到本地,再上传至测试服务器的整个过程:1、 首先去查看公用服务器的所建hive表放在哪个目录,然后将Hadoop的hi...原创 2018-04-28 16:44:05 · 236 阅读 · 0 评论 -
日期格式化
python中时间日期格式化符号: %y 两位数的年份表示(00-99) %Y 四位数的年份表示(000-9999) %m 月份(01-12) %d 月内中的一天(0-31) %H 24小时制小时数(0-23) %I 12小时制小时数(01-12) %M 分钟数(00=59) %S 秒(00-59) %a 本地简化星期名称 %A 本地完整星期名称 %...转载 2018-05-21 14:42:55 · 407 阅读 · 0 评论 -
hive关于ES的配置
首先在本地服务器放上,/home/yourname/elasticsearch-hadoop-5.2.0.jar 试试hdfs dfs -put elasticsearch-hadoop-5.2.0.jar /tmp/然后在hql文件头加上add jar file:/home/xieyulong/elasticsearch-hadoop-5.2.0.jar ;ok....原创 2018-05-08 18:21:52 · 708 阅读 · 1 评论 -
hadoop job kill
$ hadoop job -list$ hadoop job -kill job_2018xxxxxxxxx_12345原创 2018-05-30 11:03:07 · 480 阅读 · 0 评论 -
shell_tips
# 取hive输出table表含有数字的第12列pack_unit_scale=$(echo $scale | grep '[[:digit:]]' | awk -F '|' '{print $12}')# 提取含有数字的倒数第一行partition_var=$(gohive -e "show partitions app.app_predict_class_consume_wi;")p...原创 2018-06-29 18:58:10 · 143 阅读 · 0 评论 -
pyspark参数设置,常用时间函数
spark-submit --master yarn-client --num-executors 8 --driver-memory 4g --executor-memory 2g spark_demo.py原创 2018-08-16 16:39:11 · 3035 阅读 · 0 评论 -
learnLinux_命令_1
命令格式:命令 [-选项] [-参数]ls -la /etc1.1 目录处理命令—-ls 英文原意: listls #列出当前目录显示文件ls -d #列出目录属性ls -a #列出当前目录所有文件(包括隐藏文件)ls -l #列出ls 的long长列表ls -all #列出ls -a的long长列表(包括隐藏文件)ls -lh #文件大小-lhls -al原创 2017-02-15 20:25:49 · 401 阅读 · 0 评论