tip
泥鳅812
这个作者很懒,什么都没留下…
展开
-
linux的shell命令做数据统计分析
【代码】linux的shell命令做数据统计分析。原创 2024-04-30 23:36:26 · 109 阅读 · 2 评论 -
Could not load dynamic library ‘libnvinfer.so.7’
tensorflow Could not load dynamic library ‘libnvinfer.so.7’原创 2023-04-15 00:12:39 · 920 阅读 · 0 评论 -
spark在windows安装
spark在windows安装原创 2017-12-28 16:41:03 · 2821 阅读 · 3 评论 -
pypi & condaforge
pypi & condaforge原创 2023-03-09 01:24:51 · 176 阅读 · 0 评论 -
python精确的四舍五入
python实现准确的四舍五入原创 2022-11-18 17:57:06 · 362 阅读 · 0 评论 -
Linux(centos7)升级nvidia515、cuda11.7、cudann8.5,非常简单
gpu升级原创 2022-11-06 15:21:40 · 2335 阅读 · 0 评论 -
C++_in_windows
C++在windows配置原创 2022-11-04 03:32:52 · 171 阅读 · 0 评论 -
.condarc配置
conda换源原创 2022-11-03 23:40:55 · 1515 阅读 · 0 评论 -
Linux(Centos7)无法读取ntfs的U盘及ntfs-3g安装
# 首先扩充自己的yum源,包括官方及非官方# yum官方:一般你的机器里yum库可能只是国内镜像sudo yum install yum-priorities# 非yum官方:rpmforge 选择合适最新的版本下载安装wget https://www.rpmfind.net/linux/dag/redhat/el7/en/x86_64/dag/RPMS/rpmforge-release-0.5.3-1.el7.rf.x86_64.rpmrpm -ivh rpmforge-release-0.原创 2022-01-04 01:45:21 · 2184 阅读 · 0 评论 -
两数交换(不引入第三变量,不数字越界)
## 原来写法(java)int temp = arr[i];arr[i] = arr[j];arr[j] = temp;数学方法,先加后减arr[j + 1] = arr[j + 1] + arr[j];arr[j] = arr[j + 1] - arr[j];arr[j + 1] = arr[j + 1] - arr[j];数学方法,先减后加arr[j + 1] = arr[j] - arr[j + 1];arr[j] = arr[j] - arr[j + 1];arr[j +原创 2021-08-12 17:23:28 · 116 阅读 · 0 评论 -
docker和redis
# 配置目录redis_dir=~/Install/redis-6.2.3# 配置文件vim $redis_dir/redis.conf# 启动服务nohup $redis_dir/src/redis-server $redis_dir/redis.conf &# 启动客户端$redis_dir/src/redis-cli -a password原创 2021-06-01 15:07:23 · 154 阅读 · 0 评论 -
terminal及vim高亮
在~/.bash_profile中修改: 1 ## terminal hignlight: 2 export CLICOLOR=1 3 export LSCOLORS=gxfxaxdxcxegedabagacad 4 #export LSCOLORS=exfxcxdxcxegedabagacad 5 #https://www.cnblogs.com/Oven5217/p/111...原创 2020-04-04 01:32:14 · 953 阅读 · 0 评论 -
linux: export path
PATH=$PATH:$HOME/.local/bin:$HOME/binexport PATHexport SPARK_HOME=/Users/xyl/Install/spark_install/spark-2.4.5-bin-hadoop2.7export PATH="SPARK_HOME/bin:$PATH"## pip install packages:export PATH=...原创 2020-04-24 16:32:01 · 372 阅读 · 0 评论 -
linux(centos_redhat)裸机配置
sudo yum upgrade#sudo yum updatesudo yum -y install# anaconda:libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver# vim:gcc gcc-c++ ncurses-...原创 2020-04-24 16:08:23 · 272 阅读 · 0 评论 -
python必装包
【代码】python必装包。原创 2020-04-21 11:47:40 · 1027 阅读 · 2 评论 -
cssselectVSxpath
cssselectVSxpath#soupsoup = BeautifulSoup(html, 'lxml')print(type(soup))#lxmlfrom lxml import etreetree = etree.HTML(html)print(type(tree))t1 = time.time()for i in range(10000): td1 = tree.c原创 2017-04-29 08:32:03 · 438 阅读 · 0 评论 -
hive_sql优化
-- 优化时间计算导致的资源消耗 ---- 优化hive性能:tez,spark,lmpala,mapreduce; 矢量化---- set hive.execution.engine = spark;-- set hive.vectorized.execution.enabled = true;-- set hive.vectorized.execution.reduce.enabl...原创 2018-04-25 17:32:15 · 276 阅读 · 0 评论 -
matplotlib_linux作图_时间序列
df21 = data[(data['review_type']=='video') & (data['high_review']==1)]df22 = data[(data['review_type']=='video') & (data['high_review']==0)]fig2 = plt.figure()ax2 = fig2.add_subplot(1,1,1)...原创 2019-01-14 17:19:04 · 332 阅读 · 0 评论 -
pyspark参数设置,常用时间函数
spark-submit --master yarn-client --num-executors 8 --driver-memory 4g --executor-memory 2g spark_demo.py原创 2018-08-16 16:39:11 · 3042 阅读 · 0 评论 -
pyspark&pandas之字符串筛选dataframe
#pandas:import numpy as npimport pandas as pddf = pd.DataFrame(np.array([['banana',1],['apple',2],['pear',3]]).reshape(3,2))df.columns = ['a','b']df2 = df[df['a'].str.contains('l')]print(df2)...原创 2019-02-23 06:15:45 · 3133 阅读 · 0 评论 -
sql自然周统计
-- 最近2个自然周统计:SELECT count(CASE WHEN (int(datediff(scheduled_date,'2001-01-01')/7) IN (int(datediff(CURRENT_DATE,'2001-01-01')/7)-2,int(datediff(CURRENT_DATE,'2001-01-01')/7)-1) AND class_status...原创 2019-06-24 20:02:06 · 4851 阅读 · 0 评论 -
用pyspark的方式写count(case when)
import pyspark.sql.functions as fnff = lambda cond: fn.countDistinct(fn.when(cond,df['s_id']).otherwise(None)cond = (df['class_status']=='FINISHED') & (df['finish_type']=='AS_SCHEDULED')df.gro...原创 2019-09-04 15:59:24 · 3774 阅读 · 0 评论 -
spark sql 中排序的坑
sort by 之后多组排序不要带括号,不然spark sql 语法解析就有 bug了。原创 2019-09-23 17:31:45 · 916 阅读 · 0 评论 -
sql 之 rank
SELECTt5.student_id, max(CASE WHEN t5.rank=1 THEN t5.rating END) AS near_comment_score_to_teacher, max(CASE WHEN t5.rank=1 THEN t5.update_time END) AS near_comment_update_timeFROM(SELECTstudent...原创 2018-05-30 14:22:21 · 2019 阅读 · 0 评论 -
linux命令(杀任务,看日志,查目录大小,打包压缩,上传文件, pyspark json jar)
yarn application -listyarn application -killhadoop job -listhadoop job -kill原创 2018-06-05 17:24:50 · 1213 阅读 · 0 评论 -
python 判断汉字
def is_chinese(uchar): """判断一个unicode是否是汉字""" if uchar >= u'\u4e00' and uchar<=u'\u9fa5': return True else: return False原创 2018-05-22 11:11:44 · 9766 阅读 · 1 评论 -
python 日期为昨天
# method 1:import arrowyesterday = arrow.utcnow().to('local').shift(days=-1).format('YYYY-MM-DD')print(yesterday,type(yesterday))# output:# 2018-02-01 &lt;class 'str'&gt;# method 2:import da...原创 2018-02-02 13:47:59 · 376 阅读 · 0 评论 -
python迭代对象降维
迭代对象降维至一维:# coding=utf-8from collections import Iterabledef oneDim(L): for each in L: if not isinstance(each, Iterable) or isinstance(each,str): #保护单词不被拆成一个个字母 yield each原创 2018-01-26 07:03:45 · 391 阅读 · 0 评论 -
^(按位异或)与**
^(按位异或)与**python:2**3 == 83**2 == 9##按位异或2^3 == 13^2 == 1R:2**3 == 83**2 == 9##作用等价2^3 == 83^2 == 9参考资料: 1.python中 “与,或,异或” 2.按位“与”、“或”、“异或”运算的使用场景有什么?原创 2017-05-14 01:33:32 · 596 阅读 · 0 评论 -
移动设备user_agent
more_link: http://yuncode.net/article/a_512715c7a368c35●iOS7 Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53●i原创 2017-04-30 18:04:08 · 354 阅读 · 0 评论 -
区间质数
区间质数原创 2017-03-03 15:40:14 · 364 阅读 · 0 评论 -
最大公约数、最小公倍数
最大公约数、最小公倍数def gcd(n_big, n_small): '''The greatest common divisor func.''' return bcd(n_small, n_big % n_small) if n_big % n_small > 0 else n_smalldef lcm(n_big, n_small): '''The lowest co原创 2017-02-24 23:03:18 · 232 阅读 · 0 评论 -
linux命令出错解决方案
linux命令出错解决方案export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin原创 2017-05-09 15:32:59 · 613 阅读 · 0 评论 -
R中NA,NaN,NULL,Inf
a<-NULL #空集 length(a)== 0b<-NA #占位缺失值(Not Available)c<-NaN #占位错误值(Not a Number)如:sqrt(-2),0/0d<-Inf #正无穷大e<--Inf #负无穷大原创 2017-03-13 17:51:45 · 2435 阅读 · 0 评论 -
ASCII2ChineseSheet
啊:啊 Python只需chr(21834),ord(‘啊’) 注1:以下都为Unicode字符(十进制数字) 注2:上图的 在转化(包括但不仅仅是unescape)时,可能会转化为'品牌:\xa0苏泊尔'啊:21834 阿:38463 埃:22467 挨:25384 哎:21710 唉:21769 哀:21696 皑:30353 癌:30284 蔼:34108 矮:30原创 2017-03-09 14:18:19 · 4097 阅读 · 0 评论 -
python--raise Exception
def printError(v): if v: pass else: raise Exception('Not exiests `V`.')原创 2018-02-04 22:33:09 · 11218 阅读 · 0 评论 -
python--for...else...,while...else...
for i in range(5): print(i) #breakelse: print('else?')s = [1,2,3]while s: print(s.pop()) #breakelse: print('else?')待填坑。。。原创 2018-02-04 22:38:48 · 157 阅读 · 0 评论 -
安装cuDNN官方教程
http://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#install-windows原创 2018-02-05 18:57:08 · 15484 阅读 · 0 评论 -
日期格式化
python中时间日期格式化符号: %y 两位数的年份表示(00-99) %Y 四位数的年份表示(000-9999) %m 月份(01-12) %d 月内中的一天(0-31) %H 24小时制小时数(0-23) %I 12小时制小时数(01-12) %M 分钟数(00=59) %S 秒(00-59) %a 本地简化星期名称 %A 本地完整星期名称 %...转载 2018-05-21 14:42:55 · 409 阅读 · 0 评论 -
shell中 '\r': command not found 解决办法
sed -i 's/\r$//' &lt;filename&gt;原创 2018-05-18 17:36:59 · 2512 阅读 · 0 评论