基础技术
文章平均质量分 57
凝眸伏笔
纵然伤心也不要愁眉不展,因为你不知道谁会爱上你的笑容。
展开
-
pandas dataframe获取列名、添加列名、列索引
pandas dataframe获取列名、添加列名、列索引原创 2022-10-27 16:11:11 · 21939 阅读 · 0 评论 -
python路径拼接os.path.join()函数
os.path.join()函数用于路径拼接文件路径。拼接如下目录:代码: # -*- encoding:utf-8 -*-import sysimport osif __name__ == '__main__': if len(sys.argv) != 2: print('need input: task name , but got {0} '.format(len(sys.argv))) sys.exit(-1) task_na.原创 2021-09-25 16:07:03 · 1393 阅读 · 0 评论 -
shell:判断文件夹是不是存在,如果不存在则创建
1.判断文件夹是否存在,不存在则创建!/bin/bashif [ ! -d filename ];then mkdir filenameelse echo dir existfi2.传入一个文件夹名字,若不存在则创建#!/bin/bash# 判断传入的参数的个数是不是一个if [ ! $# -eq 1 ];then echo param error! exit 1fi# 判断目录是不是已经存在,如果不存在则创建,存在则输出“dir exist”dir原创 2021-09-25 15:38:13 · 8226 阅读 · 0 评论 -
记录下如何判断错误:no such file or directory
背景:第三次碰见这个问题了...环境:golang两个项目A和B,运行项目A时,会引用B的一些配置文件,如下,两个并列项目:项目A代码:项目B文件:在项目A的test目录下,运行:go run test.go 会出现下面报错(base) deMacBook-Pro:test $ go run test.go open fail err is : %v open ../awesomeProject2/config.txt: no such file or di...原创 2021-08-04 23:14:34 · 1041 阅读 · 0 评论 -
gRPC和HTTP区别
RPC是干什么的?当用户的请求到来时,我们需要将用户的请求分散到多个服务去各自处理,然后又需要将这些子服务的结果汇总起来呈现给用户。那么服务之间该使用何种方式进行交互就是需要解决的核心问题。RPC 就是为解决服务之间信息交互而发明和存在的。什么是 RPC ?RPC (Remote Procedure Call)即远程过程调用,是分布式系统常见的一种通信方法,已经有 40 多年历史。当两个物理分离的子系统需要建立逻辑上的关联时,RPC 是牵线搭桥的常见技术手段之一。除 RPC 之外,常见的多系统数原创 2021-07-10 20:22:58 · 16891 阅读 · 1 评论 -
python 项目自动生成环境配置文件requirements.txt
1.为什么要使用requirements.txt?主要使用目的:任何应用程序通常需要设置安装所需并依赖一组类库来满足工作要求。要求文件是指定和一次性安装包的依赖项具体一整套方法。requirements.txt文件格式:requests==1.2.0Flask==0.10.1requests==1.2.0Flask==0.10.1这样我们就可以安装requirements.txt依赖pip install -r requirements.txt2.生成方法方法一:整个..原创 2021-02-21 18:55:17 · 78913 阅读 · 5 评论 -
压测工具——ab
ab是apache自带的压力测试工具。ab非常实用,它不仅可以对apache服务器进行网站访问压力测试,也可以对或其它类型的服务器进行压力测试。原创 2021-02-21 18:53:41 · 946 阅读 · 0 评论 -
pycharm多个项目之间同文件夹下,函数调用非当前目录的问题
问题描述:解决 :原创 2021-01-31 16:02:52 · 2555 阅读 · 0 评论 -
git:从其他分支merge个别文件到当前分支, git clone 指定 目录
情形:我有一个新的分支A,想将A中的部分脚本文件,合并到master上。使用git merge命令进行分支合并是比较常用的方法,但是会将两个分支的内容完全合并,而我只想合并一个文件。如果想要和合并一个文件下的多个文件,怎么操作?操作:1.切换到master分支。2.git checkout 分支A 文件名字(pytorch) localhost:ch wang$ git branch* master(pytorch) localhost:ch wang$ git check原创 2020-11-16 23:35:08 · 3665 阅读 · 0 评论 -
开发机上安装虚拟环境
为什么安装虚拟环境?1.环境隔离。不同的项目对Python版本的要求不一样,所以安装的时候需要有一个环境隔离的操作,如果没有环境隔离,那么在你安装高版本python的时候,会有一些依赖覆盖到低版本Python的依赖,低版本如果没有向上兼容,则会导致低版本项目运行失败,然后还不好定位哪里的问题。2.便于清除项目。如果项目结束,想要删除时,直接将整个项目删除即可,也不会影响到别的项目。怎么安装?1.如果是本地,则使用anaconda,创建不同的环境,每个环境按照你自己的需要,安装各种包。2.原创 2020-10-29 09:33:39 · 656 阅读 · 0 评论 -
conda安装pytorch报错: CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https
问题现场:网不好,下载中断了。(pytorch) localhost:~ wang$ conda install pytorch torchvision -c pytorch......CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/osx-64/mkl-2018.0.3-1.tar.bz2>Elapsed: -原创 2020-10-28 09:32:15 · 1389 阅读 · 0 评论 -
git 删除本地分支/远程分支/本地分支跟远程分支建立联系git branch --set-upstream-to=origin/<branch> release
如何使用git将分支branch合并到主干master上对于一人独立使用git进行系统开发时,branch分支相当于版本(Version),如果每次都将新的分支branch提交到GitHub上,则会在GitHub中产生相应的新分支。那么如何将开发完毕的新分支合并到主干master上,而且还保留原有分支信息呢?新建分支并切换git chechout -b wang这样就切换到新建的分支上了,接着我们在新建的分支上进行系统开发,假设修改了README.MD中的内容,添加了下面一句:增加系原创 2020-08-04 18:52:00 · 2087 阅读 · 0 评论 -
git pull时本地文件和服务器文件冲突解决方法——git stash和git stash pop
解决:error: Your local changes to 'contextTempl.java' would be overwritten by merge. Aborting.Please, commit your changes or stash them before you can merge.原创 2020-07-28 22:04:00 · 1301 阅读 · 0 评论 -
phabricator中arc diff如何将当前分支合并到master
git checkout -b feature_xxx— 创建一个新分支,并修改代码 git add . && git commit -m tt— 将该提交的都提交上去 arc diff [last_commit] 此命令会将 last_commit 到最新的 commit 之间的改动的所有代码发送到 phabricator 平台,并创建一个 revision; 如果没有指定 last_commit,则会使用 master 分支来作为 last_commit 的起点。 运行..原创 2020-07-28 22:25:04 · 4414 阅读 · 0 评论 -
protobuf 基础语法以及生成Go代码示例
主要内容:protobug基础语法和生成go代码指南。1.protobuf 基础语法1.1Message定义一个message类型定义描述了一个请求或响应的消息格式,可以包含多种类型字段。例如定义一个搜索请求的消息格式SearchRequest,每个请求包含查询字符串、页码、每页数目。每个字段声明以分号结尾。syntax = "proto3";message SearchRequest { string query = 1; int32 page_number =原创 2020-07-20 22:33:53 · 2879 阅读 · 0 评论 -
【特征工程】判断一组数据的分布形态
思考:输入到NN模型中的特征要做归一化处理,我看到airbnb对特征归一化的方式因特征而异,这点惊讶到我,我当前的工作中,对特征归一化处理方式是同一种。然而并不知道特征服从什么分布,或许选择了一个大家通用的归一化方法?这个不得而知。言归正传,airbnb根据不同特征做不一样的归一化,因为他们对数据进行了观察,发现了部分长尾数据,因此做了log的归一化处理[1],这点很惊喜。在我刚工作的时候,也有人...原创 2019-11-12 17:56:00 · 12969 阅读 · 0 评论 -
显示器连接mac后,屏幕不亮无信号输入问题
背景:mac长时间连接显示器,不经常关机的话,会出现这种情况,显示器不亮,显示无信号输入。各种拔线都不能重新让屏幕亮起来,百度方法后,方案如下:shift+control+alt+关机键这个会使得电脑关机,强制关机,里面的网页会在开机的时候再次打开。...原创 2018-06-20 15:23:39 · 57252 阅读 · 4 评论 -
Python 学习笔记
书的名字叫做《python 编程从入门到实践》第六章 字典alien_0 = {'color':'green','point':5}print alien_0['color']print alien_0['point'] #取单个元素需要用[]alien_0['x_position'] = 0#添加键值对,依次指定字典名、用方括号括起来键,等号赋值alien_0['y_position'] ...原创 2018-07-09 09:17:24 · 267 阅读 · 0 评论 -
工作中用到的sql汇总:
学习资源来自:《Mysql必知必会》该书简单明了,适合我这种大白,像是小学老师授课一样。在做学习笔记的时候,结合本身专业,将其对应扩展,便于迁移到实际应用中,将固定的知识同实践相结合去理解各个知识点。最前面是工作中较为常用的语句,后面是看书总结的语法知识。一、LIKE使用通配符% 来匹配city字段中包含的字母。SELECT * FROM PersonsWHERE City L...原创 2018-07-24 16:18:43 · 3999 阅读 · 0 评论 -
深度学习框架keras——学习调研汇总
一、常用的学习资料链接:kares官网中文链接:http://keras-cn.readthedocs.io/en/latest/优点:(1)易使用:对于不求甚解,只是当做一个黑盒子使用的人,keras容易上手;(2)扩展性:keras的设计将大量的内部运算都隐藏起来,但是其扩展性并不差;(3)文档齐全,python编写,更新迅速,论坛活跃。四种常用框架难度排序:Ker...原创 2018-07-30 16:38:30 · 2755 阅读 · 0 评论 -
深度学习框架keras——mac安装keras和TensorFlow
步骤分为两个:一、安装keras;二、安装它的backend(中文资料说这个backend理解为Keras的底层支持,用于数据流的计算),我选择了TensorFlow,还可以选择其他底层,根据需要自己确定。二者的安装顺序有没有要求呢?个人觉得没有。我先安装的keras,然后测试安装成功否,测试例子需要引入TensorFlow,所以就报错了,缺少这个TensorFlow的包,因此接着安装Tens...原创 2018-07-31 23:17:48 · 3683 阅读 · 0 评论 -
SCP :从集群上拉文件到本机的方法
1 首先打开本地电脑的远程登录,否则无法链接:系统偏好设置-共享-远程登录2 scp 开发机上的文件路径 yilashabai@电脑ip地址123.234.344.23:保存路径scp /home/zouxuhua/xxx.txt yilishabai@123.234.344.23:/Users/yilishabai/xxx.txt此时如果需要输入密码,就是你电脑的开机密码。3. s...原创 2018-08-10 15:39:08 · 3641 阅读 · 0 评论 -
git --去除提交密码
背景:最开始安装使用git的时候,让设置密码,我便设置了个密码,谁知这给我提交代码带来很大麻烦。目标:去除git提交代码时,输入密码的繁琐。行动:$ssh-keygen -t rsa然后一路回车,$cat ~/.ssh/id_rsa.pub将这个里面的密钥复制,粘贴到自己的git账户中。容易出错的地方:这个密钥很容易粘贴到项目的setting中,这样做不对。需要点击...原创 2019-01-07 22:39:40 · 2927 阅读 · 0 评论 -
大数据计算引擎——Flink学习
从该网址上的内容中摘抄出来的,如有侵权,联系,可删,目的是做笔记记录,放在博客上易于查找~~~https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/index.html大数据计算引擎的发展: Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。第一代的计算引擎,无疑就是 Had...转载 2019-01-31 16:42:02 · 843 阅读 · 3 评论 -
git-提交代码-删除部分提交错误的文件夹-版本回退
git常用的几个提交代码相关的命令:1.常规提交$ git add .$ git commit -m "xxxx"$ git push 如果是新分支,会有提示: 然后你按照提示进行操作:git push --set-upstream origin poiReview其中poiReview 是分支的名字。2.删除文件如果想要提交的文件中包...原创 2019-01-29 16:11:06 · 2558 阅读 · 0 评论 -
推荐系统算法--ItemCF--MF(ALS)--FF
1.ItemCF: 协同过滤是什么? 协同过滤 (Collaborative filtering),指的是,通过收集群体用户的偏好信息,自动化预测(过滤)个体用户可能感兴趣的内容。协(collaborating)是群体行为,过滤(filtering)则是针对个人的行为。 ItemCF:Item Collaboration Filter,基于物品的协同过滤。 核心......原创 2019-02-15 22:01:26 · 5741 阅读 · 0 评论 -
【hive】LATERAL VIEW explode()一行改写为多行
背景:工作中遇见一个问题,需要再hive中,将表info.age_info中一个字段中的内容进行拆分为多行,比如:id age a 12_14_15 b 12_14_15 将其拆分为:id age a 12 a 14 a 15 b 12 b 14 b 15 解决:select...原创 2019-05-24 20:42:31 · 2325 阅读 · 0 评论 -
iTerm2初级开发常用功能汇总--mac
1.文本复制在iTerm2 中,选中即复制,所以在iTerm2的session中不用再去 ⌘+c ,可直接将选中的文本复制到剪切板中去,通常选中有以下两种方法:一、使用鼠标选择。二、使用 ⌘+f 搜索,查找内容会高亮显示,通过tab / shift+tab 扩大选中范围,快捷键可在Profiles > Keys 中设置。2.Tab 窗口面板管理一、Tab纵向分割:⌘+d...原创 2019-08-23 16:27:13 · 441 阅读 · 0 评论 -
常用的数据格式汇总
1、libsvm数据格式libsvm使用的训练数据和检验数据文件格式如下: [label] [index1]:[value1] [index2]:[value2] … [label] [index1]:[value1] [index2]:[value2] …label 目标值,就是说class(属于哪一类),就是你要分类的种类,通常是一些整数。index 是有顺序的索引,通常是连续的整数。就是指...原创 2018-05-16 19:59:02 · 15646 阅读 · 0 评论