python及shell
文章平均质量分 72
自由自在梦在何方
我追求完美,不奢求完美。
展开
-
spark简单测试
1 通过shell直接submit2 通过Spark-shell执行 for i in {1..30};do spark-submit --class org.apache.spark.examples.JavaWordCount --master yarn --executor-memory 10g --driver-memory 20g --total-executor...原创 2019-12-24 15:57:41 · 623 阅读 · 0 评论 -
python求根简单性能测试
from scipy import optimizefrom timeit import timeitdef g(x): return x**3-2def h1(x): root2, results2 = optimize.bisect(g, -1, 2, full_output=True)def h2(x): root2, results2 = optimiz...原创 2019-12-19 15:59:03 · 173 阅读 · 0 评论 -
shell隐藏文件
mv tmp/{*,.[^.]*} .移动所有文件:大括号表示里面是或。中括号表示多选一。原创 2019-12-14 15:03:55 · 689 阅读 · 0 评论 -
python ansible 简单使用
pip3 install ansiblemkdir /etc/ansiblevi /etc/ansible/hosts#配置好hostname,免密认证做好ansible all -m copy -a "src=/etc/hosts dest=/tmp/ owner=root group=root mode=0644"ansible all -a "ls -alh /tmp/hosts...原创 2019-12-09 18:13:43 · 137 阅读 · 0 评论 -
使用clickhouse
下载,安装centos版sudo yum install yum-utilssudo rpm --import https://repo.yandex.ru/clickhouse/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_64...原创 2019-12-05 18:05:46 · 546 阅读 · 0 评论 -
kafka编译
git 下载代码切分支,进入目录。安装gradle: brew install gradle执行gradle执行 ./gradlew releaseTarGz -x signArchivescore/build/distributions目录下有生成的包。原创 2019-12-03 17:20:53 · 138 阅读 · 0 评论 -
pg简单使用
1 下载源码,编译2 /etc/profile配置环境变量,加入path;加PGDAGA=/home/pgdata3 初始化initdb -D $PGDATA4 启动pg_ctl start -D $PGDATA5psql postgres客户端连接6 查看create database db_hi;\c db_hi;create table hello(nam...原创 2019-12-03 15:35:36 · 1539 阅读 · 0 评论 -
git cherry-pick小试
大概指的是不想合并两个分支,只挑取一些commit提交到另一个分支上。操作流程:a分支有提交c1, 切到另一目录checkout b分支,也需要checkout a分支。切换b分支,执行git cherry-pick commit-number这个commit-number就是c1提交的号码。别忘了push过去。git checkout -b b.gitlsgit ls-...原创 2019-11-29 11:30:48 · 83 阅读 · 0 评论 -
vim 使用submatch
在vim中交换两个单词::%s/\(\<man\>\|\<god\>\)/\={"man":"god","god":"man"}[submatch(1)]/g替换数字加一::%s/\d/\=submatch(0)+1/g参考Pricatical Vim.原创 2019-11-29 09:31:49 · 1262 阅读 · 0 评论 -
flatMapValues区分
flatMapValues 将values先map,再flat得到元组。x = sc.parallelize([("a", ["1", "2", "3"]), ("b", ["123"])])def f(x): print(x);return x*3x.flatMap(f).collect()['a',['1', '2', '3'],'a',['1', '2', '3...原创 2019-11-28 15:35:30 · 868 阅读 · 0 评论 -
python spark
修改python版本为python3export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATHexport PYSPARK_PYTHON=/usr/bin/python3#export PYSPARK_DRIVER_PYTHON=/usr/bin/python3...原创 2019-11-23 16:41:18 · 197 阅读 · 0 评论 -
react 时间格式化;echarts demo
1import moment from 'moment';moment(parseInt(value)).format('HH:mm:ss')2http://www.echartsjs.com/gallery/editor.html?c=doc-example/candlestick-axisPointer坐标的格式化,tip的格式化,tip与横坐标的格式化坐标axis...原创 2018-09-20 11:47:45 · 295 阅读 · 0 评论 -
python 执行shell超时时间
import datetimeimport subprocessimport timedef execute_command(cmdstring, timeout=None): if timeout: end_time = datetime.datetime.now() + datetime.timedelta(seconds=timeout) s...原创 2018-09-29 15:58:43 · 4306 阅读 · 0 评论 -
安装hive 3.1.0 简记
tar zxvf /tmp/apache-hive-3.1.0-bin.tar.gz -C /opt/mv /opt/apache-hive-3.1.0-bin/ /opt/hivesed -i '/HIVE_HOME/d' /etc/profilesed -i '$a export HIVE_HOME=/opt/hive' /etc/profilesed -i '/$HIVE_HO...原创 2018-10-23 18:08:26 · 782 阅读 · 0 评论 -
Kafka安装 (简单)
预装JDK1.8,Zookeeper安装Kafka Broker:tar zxvf kafka-2.11-1.1.1.tar.gz -C /opt/mv /opt/kafka-2.11-1.1.1 /opt/kafka启动:/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties...原创 2018-10-29 13:48:50 · 406 阅读 · 0 评论 -
hadoop,hbase自定义Sink
1 import org.apache.commons.configuration.SubsetConfiguration;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.classification.InterfaceA...原创 2018-08-24 13:54:27 · 576 阅读 · 0 评论 -
hadoop ganglia-metric配置
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31*.sink.ganglia.period=10namenode.sink.ganglia.tagsForPrefix.jvm=ProcessName #区分jvm是哪一个发过来的 产生文件:jvm.JvmMetrics.ProcessNa...原创 2018-08-22 14:07:57 · 321 阅读 · 0 评论 -
hadoop WordCount
1 pom.xml<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.4&a原创 2018-08-11 20:12:44 · 117 阅读 · 0 评论 -
ganglia zookeeper
zookeeper自带监控zookeeper.conf及zookeeper_ganglia.py文件。稍作修改:def _parse(self, data): """ Parse the output from the 'mntr' 4letter word command """ h = StringIO(data) result = ...原创 2018-08-02 15:24:17 · 127 阅读 · 0 评论 -
hadoop remote debug
本地解压hadoop.tar.gzIDEA打开对应的pom文件。记得本地要装protoc .(本地为linux或mac)https://github.com/google/protobuf/releases/tag/v2.5.0MVN command line 里输入:package -DskipTests运行完成后,准备启动NameNode,设置好断点。remoted的Host...原创 2018-08-10 13:17:50 · 208 阅读 · 0 评论 -
ganglia问题及解决
gmond 重启后rrd文件不产生:单播要修改send_metadata_interval=30 只要大于0整数就行所有服务器要对时,可采用ntp或chrony配置合适的collect_every,time_threshold,value_threshold多长时间收集数据,收集不一定发送。需要value_threshold配合,如果超过该值,整组都发送。否则在time_thres...原创 2018-08-09 10:39:46 · 485 阅读 · 0 评论 -
ganglia扩展
c扩展及py扩展1 c扩展装gcc,及ganglia依赖库,见前面。修改源码中example模块。修改Makefile.am文件及mod_example.c。./configure --prefix=/你要装的目录make此时已经产生需要的example.so文件,拷到需要的地方,比如/usr/lib64/ganglia/下拷文件example.conf到/etc/...原创 2018-08-09 10:34:36 · 245 阅读 · 0 评论 -
shell 交互
java执行shell交互:方法一:用linux自带的expect expect -c 'spawn /opt/hadoop-2.7.4/bin/hadoop namenode -format expect "Proceed formatting" send "Y\r" expect "filesystem in QJM " send "Y\r" interact ...原创 2018-06-28 15:25:53 · 670 阅读 · 0 评论 -
python 静态变量
class A: i=1 j=1 def inc(): self.i+=1 A.j+=1区别:A.j是静态变量;A.i与a.i是不一致的,容易引起误会。对比java可以试试。原创 2018-06-21 14:47:16 · 3055 阅读 · 0 评论 -
动态规划与贪心算法
贪心算法:典型的应用有Huffman树,直接构造两个最小的连续相加,得到目标树。目标函数f=sum(li*wi);就是权重乘以叶节点的深度求和再求最小值。如果目标函数修改为f=sum(li+wi)或max(li+wi)或任意函数g(li,wi),是否可以求解呢?经过几天研究,发现上面这两个特殊的函数是可以求解的。参见引理16.2,16.3。证明两点。1 最优方案等价于取两个...原创 2018-11-01 20:57:55 · 476 阅读 · 0 评论 -
二叉树按运算符号最优化
1 根据原二叉树,初始化节点的深度,parent等2 遍历得到任意长度并标识parent3 同父且深度同,根据贪心算法得到最优。直至深度为0结束。其中 2通过广度遍历,如果与父节点符号相同,则高度一致,父节点等于父节点的parent;否则,高度加一,父节点等于该父节点。数据结构设计:1 NodeNew:Node,depth,parent2 Map<NodeNew ...原创 2018-11-07 17:50:34 · 240 阅读 · 0 评论 -
机架感知
hdfs配置机架感知需要以下几步:1 配置core-site.xml文件。配置使用脚本或java类。2 把脚本或java类放到合适的位置。3 重启namenode或datanode。具体如下:1 java或脚本配置如下:<property> <name>topology.node.switch.mapping.impl</name>...原创 2018-11-21 14:26:31 · 141 阅读 · 0 评论 -
hadoop start journalnode小坑
由于配置了journalnode与datanode不在一起,分别是三台服务器与另外三台。结果每次启动发现启动错了,最后找到原因,竟然是调错了脚本hadoop-daemons.shhadoop-daemon.sh两个的区别!带s的默认是启动所有slaves里配置的服务器的journalnode不带s的是启动本机的journalnode原创 2017-11-01 19:15:24 · 6025 阅读 · 1 评论 -
Numerical Python 不错的书
偶尔看到一本书,感觉还不错。记下阅读笔记,非常粗略。未完待续。。。。。。。《Numerical Python :Scientific Computing and DataScience Applications with Numpy, SciPy and Matplotlib》second Edition第一章工具的使用:ipython,jupyter(qtconsole,noteb...原创 2019-07-05 16:07:47 · 710 阅读 · 0 评论 -
HBase 自定义导入Mapper
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.mapper.class=org.apache.hadoop.hbase.mapreduce.TsvImporterUserMapper -Dimporttsv.bulk.output=/test/hello -Dimporttsv.separator="," -Dim...原创 2019-04-02 15:56:58 · 426 阅读 · 0 评论 -
sublime 运行SQL(Mysql/Oracle)
配置sublime运行mysql{"cmd": ["/usr/local/bin/mysql", "-h127.0.0.1","-uhello","-phello","-Dhello","-e", "source $file", "-v"],"selector": "source.sql"}Sublime Text 2/Packages/User/mysql.sublime-...原创 2019-03-25 15:25:57 · 7461 阅读 · 4 评论 -
python networkx pygraphviz简单使用
from heapq import *import networkx as nximport matplotlib.pyplot as pltimport pygraphviz as pgvclass Node: def __init__(self, label, weight): self.left = None self.right = N...原创 2019-03-21 15:15:57 · 950 阅读 · 0 评论 -
PDDL demo(转)
http://editor.planning.domains/#文件 domain(define (domain gripper-strips) (:predicates (room ?r) (ball ?b) (at ?b ?r) (at-robby ?r) ...转载 2019-01-09 10:06:01 · 645 阅读 · 1 评论 -
prolog 集合的交
不严格的推导如下:intcou([X,Y],[W,Z],[H,T]):-X<W,Z<Y,H is W,T is Z,H<T.intcou([X,Y],[W,Z],[H,T]):-X<W,Y<Z,H is W,T is Y,H<T.intcou([X,Y],[W,Z],[H,T]):-X>W,Z>Y,H is Z,T is W,H<T....原创 2018-12-30 16:39:32 · 278 阅读 · 0 评论 -
prolog简记
http://www.swi-prolog.org/download/stablecentos-7: 源码解压,config && make && make installmac:dmg直接安装使用:1 交互式linux下敲:swipl进入交互式。|:后输入已知;?-后输入要判断的2 使用文件例:love.pllove(zhang...原创 2018-12-17 14:12:53 · 934 阅读 · 0 评论 -
some demo for prolog(转)
1word(d,o,g).word(r,u,n).word(t,o,p).word(f,i,v,e).word(f,o,u,r).word(l,o,s,t).word(m,e,s,s).word(u,n,i,t).word(b,a,k,e,r).word(f,o,r,u,m).word(g,r,e,e,n).word(s,u,p,e,r).word(p,r,o,l,o,...转载 2018-12-21 15:19:26 · 168 阅读 · 0 评论 -
PDDL 使用
1 下载 Fast-Downward-a8d82c9506b5.zip2 安装cmake3 执行./build.py4 使用:./fast-downward.py domain.pddl problem.pddl --search "astar(lmcut())"(define (problem solve) (:domain gripper-strips) ...原创 2019-01-09 10:42:31 · 2370 阅读 · 4 评论 -
py2neo使用
python3使用neo4j:py2neo v4https://py2neo.org/v4/https://github.com/technige/py2neo安装pip3 install py2neo简单使用:>>> from py2neo import *>>> graph = Graph(password='hello')>...原创 2018-12-05 11:25:25 · 1283 阅读 · 0 评论 -
linux neo4j使用
解压到/opt/下 tar zxvf /tmp/neo4j-community-3.4.10-unix.tar.gz -C /opt/ cd /opt/neo4j-community-3.4.10/ cd bin/ ./neo4j start ./neo4j status ./neo4j-shell -path /opt/neo4j-community-3.4.10/...原创 2018-12-04 14:48:19 · 1368 阅读 · 0 评论 -
图数据库 简介
neo4jtinkerpop:Apachegeabase:阿里简单使用neo4j:下载安装。概念: (1)Nodes(节点) (2)Relationships(关系)(3) Properties(属性)(4) Labels(标签)(5) Traversal(遍历)(6) Paths(路径)(7) Schema(模式,类似存储数据的结构)Indexes...原创 2018-11-26 15:05:03 · 1392 阅读 · 0 评论