- 博客(41)
- 收藏
- 关注
RSS订阅转载 gitj基础2
回滚版本gitreset--hardHEAD^回滚上一个版本gitreset--hard版本号（或者版本号前6位）回滚到指定版本如果修改版本了，也关了窗口，后来后悔了，最后的方法可以拯救获得版本号前6位用gitreset--hard版本号前6位删除rmre...
2019-09-16 15:08:00
171
转载 hadoop.io.native.NativeID$Windows.access0 报错问题解决
系统：win10hadoop-2.6.0版本java:1.8版本32位wordcount在本地运行时报错：Exceptioninthread"main"java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.NativeID$Windows.access0在网上查阅了资料，发现可...
2019-09-09 14:40:00
169
转载 git基础1
git:团队协作开发版本管理创建项目的文档初始化编写项目把文件add到git仓库，其实是放到了git的代码暂存区工作区有一个隐藏目录.git，这个不算工作区，而是Git的版本库Git的版本库里存了很多东西，其中最重要的就是成为stage(或叫index)的暂存区，还有...
2019-09-02 10:28:00
134
转载 mysql和postgresql查询数据库中哪些表包含某个字段
想知道数据库中哪表含有edu_status字段mysql>selecttable_name,column_namefrominformation_schema.columnswherecolumn_namelike'%edu_status%';+-------------+-------------------+|table_name...
2019-08-26 13:48:00
1066
转载 9.spark Core 进阶2--Cashe
RDDPersistenceOneofthemostimportantcapabilitiesinSparkispersisting(orcaching)adatasetinmemoryacrossoperations.WhenyoupersistanRDD,eachnodestoresanyparti...
2019-08-20 09:58:00
129
转载 postgresql使用pg_dump和pg_restore 实现跨服务器的数据库迁移或备份
因为业务需求，需要将服务器上的postgre多个数据库的数据整个库得迁移到另一个postgre数据库上。一般表较少时，会使用postgre的copyto和copyfrom命令就能完成表的迁移，但这种方式需要target_database上提前先创建好对应的表，并且每一个表都需要一次copyto和copyfrom操作，当表比较多的时候，非常繁琐。因此我查询了网上...
2019-08-07 10:53:00
960
转载 merge存储引擎基本介绍和使用规范说明
【以下两段截自MySql手册】： merge存储引擎，也被认识为mrg_myisam引擎，是一个"相同“的表可以被当作一个表来用的myisam表的集合。“相同”意味着所有表同样的列和索引信息。你不能合并列被以不同顺序列于其中的表，没有恰好同样列的表，或有不同顺序索引的表。而且，任何或者所有的表可以用myisampack来压缩。表选项的差异，比如AVG_ROW_LENGTH,MAX...
2019-08-05 09:48:00
411
转载 7.ICMP与ping
ping是基于ICMP（InternetControlMessageProtocol）协议工作的ICMP报文封装在IP包里，作为“侦察兵”，非常轻巧。ICMP报文的类型有很多，最常用的是主动请求为8，主动请求的应答为0。查询报文类型主动发起查询，对应的额就是查询报文类型，ping就是查询报文，是一种主动请求，并且获得主动应答的IC...
2019-07-29 09:53:00
132
转载 mysql出现You can’t specify target table for update in FROM clause
在mysql执行下面语句时报错： 1 You can’t specify target table for update in FROM clause 2 3 UPDATE edu_grade_hgm_1 4 SET exam_natures_new = '2' 5 WHERE 6 (outid, course_no) IN ( 7 SEL...
2019-07-22 09:43:00
114
转载 8.spark Core 进阶1
(e.g.standalonemanager,Mesos,YARN)In"cluster"mode,theframeworklaunchesthedriverinsideofthecluster.In"client"mode,thesubmitterlaunchesthedriveroutside...
2019-07-15 09:46:00
80
转载 7.spark运行模式
sparkbin目录下./pyspark--helphttp://spark.apache.org/docs/latest/submitting-applications.htmllocal模式spark-env.sh在$SPARK_HOME/conf下yarn模式不需要启动mas...
2019-07-08 09:39:00
88
转载 5.从物理层到MAC层
第一层（物理层）如何用两台电脑构成最小的局域网（LAN）?网线的水晶头1、2和3、6脚分别起着收、发信号的作用，随意只要将水晶头做交叉线1-3、2-6交叉法，然后连接两台电脑。除了网线交叉，还要配置两台电脑的IP地址、子网掩码和默认网关。如可以是一个192.168.0.2/24和192.168.0.5/24。有一个叫Hub，也就是集线...
2019-07-01 10:25:00
114
转载 not registered via @EnableConfigurationProperties or marked as Spring component
利用@ConfigurationProperties(prefix="")来绑定属性时报错：notregisteredvia@EnableConfigurationPropertiesormarkedasSpringcomponentPOM依赖<dependency><groupId>org....
2019-06-24 09:17:00
2360
转载 6.RDD算子实战
1 from pyspark import SparkContext,SparkConf 2 import sys 3 if __name__ == '__main__': 4 if len(sys.argv) != 2: 5 print("Usage: wordcount <input>",file=sys.std...
2019-06-17 09:39:00
89
转载 3.pycharm spark配置
pycharm内的环境变量配置选择相应的spark程序文件的对应的配置信息PYSPARK_PYTHON:python的安装路径PYTHONPATH:spark安装路径下的python提交pyspark应用程序在$SPARK_HOME/bin将HDFS上的文件作为参...
2019-06-10 09:46:00
83
转载 4.RDD常用算子之transformations
RDDOpertionstransformations:createanewdatasetfromanexistingoneRDDA --> RDDBactions:returnavaluetothedriverprogramafterrunningacomputationonthed...
2019-06-03 09:40:00
133
转载 2.初始化spark
参考：RDDprogrammingguidehttp://spark.apache.org/docs/latest/rdd-programming-guide.htmlSQLprogrammingguidehttp://spark.apache.org/docs/latest/sql-programming-guide.htmlwehigh...
2019-05-27 10:35:00
165
转载 pycharm远程调试和debug
目的：通过pycharm远程连接服务器，实现在pycharm上开发，代码同步到服务器（或者可以从服务器download到pycharm），利用服务器开发环境在pycharm上debug。条件：pycharm专业版远程部署：1.如图打开Configuration2.3....
2019-05-20 09:55:00
155
转载 python spark环境配置
在配置Hadoop之前，应该先做以下配置1.更改主机名首先更改主机名，目的是为了方便管理。输入:hostname 查看本机的名称 使用hostname修改当前主机名。 hostnametest1 然后输入:vim/etc/sysconfig/network 修改主机名称 将...
2019-05-13 10:10:00
410
转载 1.spark核心RDD特点
RDD(ResilientDistributedDataset)Spark源码：https://github.com/apache/sparkabstractclassRDD[T:ClassTag](@transientprivatevar_sc:SparkContext,@transientprivatevardeps...
2019-05-06 09:51:00
106
转载 postgrel执行VACUUM报VACUUM cannot run inside a transaction block
在python脚本里执行： 1 sql_gp1 = "VACUUM dwd_access_record_inout_temp"2 sql_gp2 = "delete from dwd_access_record_inout_temp t where t.indate > (select now()::timestamp-interval '...
2019-04-24 13:57:00
2967
转载 python 用正则处理日志实例
前提：了解正则基本语法 1 import re 2 with open('top10_xiaozhuang_net.log','r') as f1: #读取日志文件 3 4 subject=f1.readlines() 5 with open('slice_log.log','w') as f2: ...
2019-04-19 17:33:00
246
转载 关于postgresql group by 报错
举个例子：tablename:makerarcname|wmname|avg--------+-------------+------------------------ canada|zoro|2.0000000000000000spain|luffy|1.00000...
2019-04-18 21:27:00
1021
转载 9.排序（上）
最经典、常用的排序：提问：插入排序和冒泡排序的时间复杂度相同，都是O(n2),在实际开发中，为什么更倾向于使用插入排序？如何分析一个“排序算法”？排序算法的执行效率1.最好、最坏、平均情况时间复杂度 这样区分的原因：1）有些排序算法会区分，为了好对比。...
2019-04-15 09:50:00
75
转载 8.递归
如何理解“递归”比如在电影院不知道自己现在坐的位置是第几排，就问下前排的是第几排(x)，自己就是x+1，如果他也不知道他就继续问前排，知道问道第一排的人，这是“递”。而第一排的人往会一排排传自己是第几排，这就是“归”。递推公式就是如下：f(n)=f(n-1)+1其中，f(1)=1改成代码：1 ...
2019-04-07 22:37:00
85
转载 4.DHCP与PRE
如何配置IP地址 使用net-tools $sudoifconfigeth110.0.0.1/24 $sudoifconfigeth1up 使用Iproute2 $sudoipaddradd10.0.0.1/24deveth1 $sudoiplinksetupeth1...
2019-03-30 18:22:00
91
转载 7.队列：在线程池等有限资源池中的应用
队列（queue）先进者先出，这就是典型的“队列”栈有基本操作入栈push()和出栈pop()队列也有两个基本操作入队enqueue(),放一个数据到队列的尾部；出队dequeue(),从队列头部取一个元素。所以，队列和栈一样，也是一种操作受限的线性表数据结构。顺序队列和链式队列用数组...
2019-03-30 17:17:00
53
转载 6栈（如何实现浏览器的前进和后退）
我们可以用栈实现浏览器的前进后退功能那么栈又是什么？栈就像一叠盘子，从下一个一个往上放。后进先出，先进后出，就是典型栈的结构。从操作特性上来看，栈是十分受限制的一种数据结构，只有一端能够操作，但因为只暴露了一端的操作接口，便不容易出错，更可控。因此当数据集合满足先进后出，后进先出的特点时，就应该选择栈。顺序栈：用数...
2019-03-25 10:22:00
138
转载 3.ifconfig
Windows下查看IP地址用ipconfigLinux下查看IP地址用ifconfig还有ipaddr而ipconfig和ipaddr的区别则是与net-tools工具和iproute2工具的“历史”有关，这常常是个考点，但内容较多。···························可略过·················...
2019-03-25 09:17:00
88
转载 2.为什么要分层
复杂的程序都要分层，这是程序设计的要求整个程序的包装和解包的过程：层与层之间的关系就像俄罗斯套娃只要是在网络上跑的包，都是完整的。可以有下层没上层，绝不可能有上层没上层。对TCP协议来说，三次握手也好，重试也好，只要想发出去包，就要有IP层和MAC层，不然是发不出去的。转载于...
2019-03-25 09:14:00
149
转载 python2和python3 安装pip冲突问题
系统：win10问题：安装python2和Python3后 在cmd 中 pip和python命令会冲突原因：先安装的python3,python3会自动配置path安装pip,pip和python命令系统默认会去执行Python3的解决：python2安装完后需要手动配置下系统环境（即将python.exe的目录和Scripts下的目录加到Path下）进入pytho...
2019-03-17 20:35:00
272
转载 1.为什么要学习网络协议
只有通过协议，计算机才知道们想让它做协议三要素语法 一定规格和格式 例如，括号成对，结束使用分号语义 一段内容代表的某种意义 例如，数字减数字有意义，数字减文本一般无意义顺序 任务的先后 没有例如了这便是和一台计算机的沟通，但只有通过网络协议，才能使得一大片机器协作，完成一件任务。以浏览器浏览页面为例...
2019-03-17 20:23:00
61
转载 5.链表（下）
写好链表的代码1.理解指针（引用）的含义将变量赋值个指针，实际上就是将这个变量的地址赋值给指针p->next=q: p结点的next指针存储了q结点的内存地址p->next=q->next->next： p结点的next指针存储了q结点的下下一个结点的内存地址...
2019-03-17 20:07:00
52
转载 4.链表（上）
对比数组，链表不需要一块连续的内存空间，它通过“指针”将一组零散的内存块串联起来使用。链表有单链表、双链表、循环链表单链表将零散的内存块（被称为结点）串联在一起，每个链表的节点除了存储数据外还要存储下一个结点的指针，记录下一个结点的指针成为后继指针。头结点和尾结点比较特殊，头结点记录链表的基地址，用它，便可以遍历整个链...
2019-03-06 17:53:00
111
转载 python 格式化向sql语句输出元组
想要往执行的sql语句里传入元组怎么办？尤其像insert 数据等操作，其实利用"{}".format(tuple)固定格式传值即可 1 results = ((1,2,3),(4,5,6)) 2 #因为hive insert 要求values 格式为 insert overwrite table term_dept_top_backup111 values(...
2019-03-06 11:38:00
462
转载 3.数组
为什么数组要从0开始变好，而不是1开始呢？数组是一种线性表数据结构。它用一组连续的内存空间，来存储一组具有相同类型的数据结构。 随机访问 插入、删除数据很低效面试题：数组和链表的区别？链表适合插入、删除，时间复杂度为O(1);数组支持随机访问，根据小标随机访问的时间复杂度为O(1)数组的内存寻址公式...
2019-03-04 20:11:00
54
转载 2.复杂度分析（下）
最好、最坏情况时间复杂度 1 // n 表示数组 array 的长度 2 int find(int[] array, int n, int x) { 3 int i = 0; 4 int pos = -1; 5 for (; i < n; ++i) { 6 if (array[i] == x) 7 pos = i; 8 } 9 retur...
2019-03-03 11:30:00
116
转载 1.复杂度分析（上）
复杂度分析是整个算法学习的精髓为什么需要复杂度分析？算法执行效率评估：事后统计法：1.测试结果非常依赖测试环境2.测试结果受数据规模影响很大因此需要一个不用具体的测试数据来测试，就可以粗略估算算法执行效率的方法大O复杂度表示法每行代码>cpu>读数据-运算-写数据 ：unit_time所有代码的执行时间T(n)与...
2019-03-01 21:39:00
61
转载 django 创建model（数据库表）失败
在models.py中创建数据库表from django.db import models# Create your models here.class Book(models.Model): name = models.CharField(max_length=20) price = models.IntegerField ...
2018-11-20 17:42:00
1092
转载 python安装
linux下载后要放到linux里解压后要进入到pyhon目录里python配置环境变量目的：让系统帮我自动找到命令执行路径vim ~/.bashrc增加PYTHON_HOME=:/usr/Python-3.6.4 PATH=$PATH:PYTHON_HOME/bin或增加 PATH=$PATH:/usr/Python-3.6.4/bin...
2018-11-03 12:46:00
54
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人