gitj基础2 回滚版本gitreset--hardHEAD^回滚上一个版本gitreset--hard版本号（或者版本号前6位）回滚到指定版本如果修改版本了，也关了窗口，后来后悔了，最后的方法可以拯救获得版本号前6位用gitreset--hard版本号前6位删除rmre...
git基础1 git:团队协作开发版本管理创建项目的文档初始化编写项目把文件add到git仓库，其实是放到了git的代码暂存区工作区有一个隐藏目录.git，这个不算工作区，而是Git的版本库Git的版本库里存了很多东西，其中最重要的就是成为stage(或叫index)的暂存区，还有...
9.spark Core 进阶2--Cashe RDDPersistenceOneofthemostimportantcapabilitiesinSparkispersisting(orcaching)adatasetinmemoryacrossoperations.WhenyoupersistanRDD,eachnodestoresanyparti...
merge存储引擎基本介绍和使用规范说明 【以下两段截自MySql手册】： merge存储引擎，也被认识为mrg_myisam引擎，是一个"相同“的表可以被当作一个表来用的myisam表的集合。“相同”意味着所有表同样的列和索引信息。你不能合并列被以不同顺序列于其中的表，没有恰好同样列的表，或有不同顺序索引的表。而且，任何或者所有的表可以用myisampack来压缩。表选项的差异，比如AVG_ROW_LENGTH,MAX...
hadoop.io.native.NativeID$Windows.access0 报错问题解决 系统：win10hadoop-2.6.0版本java:1.8版本32位wordcount在本地运行时报错：Exceptioninthread"main"java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.NativeID$Windows.access0在网上查阅了资料，发现可...
mysql和postgresql查询数据库中哪些表包含某个字段 想知道数据库中哪表含有edu_status字段mysql>selecttable_name,column_namefrominformation_schema.columnswherecolumn_namelike'%edu_status%';+-------------+-------------------+|table_name...
mysql出现You can’t specify target table for update in FROM clause 在mysql执行下面语句时报错： 1 You can’t specify target table for update in FROM clause 2 3 UPDATE edu_grade_hgm_1 4 SET exam_natures_new = '2' 5 WHERE 6 (outid, course_no) IN ( 7 SEL...
postgresql使用pg_dump和pg_restore 实现跨服务器的数据库迁移或备份 因为业务需求，需要将服务器上的postgre多个数据库的数据整个库得迁移到另一个postgre数据库上。一般表较少时，会使用postgre的copyto和copyfrom命令就能完成表的迁移，但这种方式需要target_database上提前先创建好对应的表，并且每一个表都需要一次copyto和copyfrom操作，当表比较多的时候，非常繁琐。因此我查询了网上...
7.spark运行模式 sparkbin目录下./pyspark--helphttp://spark.apache.org/docs/latest/submitting-applications.htmllocal模式spark-env.sh在$SPARK_HOME/conf下yarn模式不需要启动mas...
7.ICMP与ping ping是基于ICMP（InternetControlMessageProtocol）协议工作的ICMP报文封装在IP包里，作为“侦察兵”，非常轻巧。ICMP报文的类型有很多，最常用的是主动请求为8，主动请求的应答为0。查询报文类型主动发起查询，对应的额就是查询报文类型，ping就是查询报文，是一种主动请求，并且获得主动应答的IC...
not registered via @EnableConfigurationProperties or marked as Spring component 利用@ConfigurationProperties(prefix="")来绑定属性时报错：notregisteredvia@EnableConfigurationPropertiesormarkedasSpringcomponentPOM依赖<dependency><groupId>org....
8.spark Core 进阶1 (e.g.standalonemanager,Mesos,YARN)In"cluster"mode,theframeworklaunchesthedriverinsideofthecluster.In"client"mode,thesubmitterlaunchesthedriveroutside...
3.pycharm spark配置 pycharm内的环境变量配置选择相应的spark程序文件的对应的配置信息PYSPARK_PYTHON:python的安装路径PYTHONPATH:spark安装路径下的python提交pyspark应用程序在$SPARK_HOME/bin将HDFS上的文件作为参...
2.初始化spark 参考：RDDprogrammingguidehttp://spark.apache.org/docs/latest/rdd-programming-guide.htmlSQLprogrammingguidehttp://spark.apache.org/docs/latest/sql-programming-guide.htmlwehigh...
5.从物理层到MAC层 第一层（物理层）如何用两台电脑构成最小的局域网（LAN）?网线的水晶头1、2和3、6脚分别起着收、发信号的作用，随意只要将水晶头做交叉线1-3、2-6交叉法，然后连接两台电脑。除了网线交叉，还要配置两台电脑的IP地址、子网掩码和默认网关。如可以是一个192.168.0.2/24和192.168.0.5/24。有一个叫Hub，也就是集线...
python spark环境配置 在配置Hadoop之前，应该先做以下配置1.更改主机名首先更改主机名，目的是为了方便管理。输入:hostname 查看本机的名称 使用hostname修改当前主机名。 hostnametest1 然后输入:vim/etc/sysconfig/network 修改主机名称 将...
6.RDD算子实战 1 from pyspark import SparkContext,SparkConf 2 import sys 3 if __name__ == '__main__': 4 if len(sys.argv) != 2: 5 print("Usage: wordcount <input>",file=sys.std...
postgrel执行VACUUM报VACUUM cannot run inside a transaction block 在python脚本里执行： 1 sql_gp1 = "VACUUM dwd_access_record_inout_temp"2 sql_gp2 = "delete from dwd_access_record_inout_temp t where t.indate > (select now()::timestamp-interval '...
4.RDD常用算子之transformations RDDOpertionstransformations:createanewdatasetfromanexistingoneRDDA --> RDDBactions:returnavaluetothedriverprogramafterrunningacomputationonthed...
pycharm远程调试和debug 目的：通过pycharm远程连接服务器，实现在pycharm上开发，代码同步到服务器（或者可以从服务器download到pycharm），利用服务器开发环境在pycharm上debug。条件：pycharm专业版远程部署：1.如图打开Configuration2.3....
关注
