线程如何实现同步和通讯

转自:https://blog.csdn.net/gjb270806922/article/details/53339696/ 线程同步 什么是线程同步? 当使用多个线程来访问同一个数据时,非常容易出现线程安全问题(比如多个线程都在操作同一数据导致数据不一致),所以我们用同步机制来解决这些问...

2018-09-26 08:08:23

阅读数 32

评论数 0

CDH安装服务和下载parcels包

使用CDH在集群上安装应用。 点击Cluster1右侧向下的箭头,选择添加服务,按照步骤走即可。 下载parcels文件。 配置好只有,页面会进行刷新,然后点击下载即可。...

2018-09-17 11:27:18

阅读数 382

评论数 0

一次离线安装CDH5.7的过程

1.准备     此处使用了4台虚拟机,每台2核4G。 2.设置免密登录等。 3.检查python数据库版本,官方推荐使用的版本为2.6.6。 python -V 4.卸载原装数据库,重新安装数据库。 yum list installed | grep mysql 检查原装数据库 ...

2018-09-17 09:37:21

阅读数 135

评论数 0

flume自定义Intercept

package com.flume; import org.apache.flume.Context; import org.apache.flume.Event; import org.apache.flume.interceptor.Interceptor; import java.io...

2018-09-10 16:52:15

阅读数 57

评论数 0

flume将kafka中的消息写入hdfs

#bin/flume-ng agent -n agent -f conf/a3.conf -c conf -Dflume.root.logger=INFO,console #source的名字 agent.sources = kafkaSource # channels的名字,建议按照type来...

2018-09-10 15:42:18

阅读数 399

评论数 0

flume使用kafkachannel直接导入到kafka

#bin/flume-ng agent -n a1 -f conf/a1.conf -c conf -Dflume.root.logger=INFO,console #定义agent名, source、channel、sink的名称 a1.sources = r1 a1.channels = ...

2018-09-10 15:41:00

阅读数 625

评论数 0

Spark随笔

1.解决命令冲突     spark的启动与关闭命令与hadoop重复,直接调用可能调用的是hadoop,因此需要对spark的启动命令进行修改,将${spark_home}\sbin下的start-all.sh改为start-spark-start.sh。 2.spark web访问的页面 ...

2018-08-19 16:07:17

阅读数 86

评论数 0

Python爬虫——Selenium库

一、介绍自动化测试工具,支持多种浏览器。爬虫主要用来解决JavaScript渲染的问题。二、用法基本使用from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdrive...

2018-07-07 00:19:30

阅读数 198

评论数 0

Python爬虫——PyQuery库

一、简介一款强大,灵活的网页解析库。二、使用初始化字符串初始化html=""" <div> <ul> <li class=&am...

2018-07-06 16:01:00

阅读数 71

评论数 0

python爬虫——BeautifulSoup库

BeautifulSoup库一、简介灵活又方便的网页解析库,处理高效,支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。二、详解1.解析库解析器使用方法优势劣势Python标准库BeautifulSoup(markup,"html.parser&quo...

2018-07-06 15:03:22

阅读数 93

评论数 0

python爬虫——re库(正则)

1.re.matchre.match尝试从字符创的起始位置匹配一个模式,如果不是起始位置匹配成功的话,就会返回None。re.match(pattern,string,flags=0)2.最常规的匹配import re content = 'Hello 123 4567 World_This is...

2018-07-05 20:53:13

阅读数 43

评论数 0

python爬虫——Request库

一、简介Requests是python语言编写,基于urllib,采用Apache2 Licensed开源协议的Http库。它比urllib更加方便,可以节约大量的工作,完全满足HTTP测试需求。二、使用实例引入import requests response = requests.get('ht...

2018-07-05 20:06:29

阅读数 76

评论数 0

python爬虫——urllib库

1.urlliburlopenurlopen.reques.urlopen(url,date=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)#只有url参数的情况 import urllib.reques...

2018-07-05 18:40:36

阅读数 77

评论数 0

python 迭代器、for循环机制、生成器、三元表达式、关键词yield

一、迭代器1.迭代器协议是指:对象必须提供一个next()方法,执行该方法要么返回迭代中的下一环,要么引起一个stopIteration异常,以终止迭代。2.可迭代对象:实现了迭代器协议的对象(对象内部定义一个__iter__()方法)。3.协议是一种约定,可迭代对象实现了迭代器协议,python...

2018-06-06 19:56:04

阅读数 245

评论数 0

python 文件处理

一、文件处理的基本流程1.打开文件获得句柄并赋值给一个变量。2.通过句柄对文件进行操作。3.关闭文件。f = open("D:/1.txt",encoding='utf-8')#打开文件获取句柄 print(data)#输出文件内容 f.close()#关闭文件...

2018-06-06 16:39:12

阅读数 69

评论数 0

python 内置函数

python中的部分内置函数。#1.abs() 取绝对值 abs(-1) 1 #2.all() 会将集合内的元素进行布尔运算,若所有的都为True,则结果为True,只要有一个为False,则为False,若传入的只有一个参数且为空('',[],()等),则返回的True all([1,2,'1...

2018-06-02 16:17:47

阅读数 86

评论数 0

python 前向引用,递归,变量的作用域,函数编程,匿名函数(lambda)

def foo(): print('from foo') bar() foo() #name 'bar' is not defined def bar(): print('from bar')在定义foo()函数之后bar()函数定义之前会报错,因为调用foo()函数的时候...

2018-05-30 15:50:23

阅读数 161

评论数 0

python 全局变量和局部变量

一、全局变量在一个文件顶部定义的变量可以供该文件中任意函数调用1.定义全局变量name = '全局变量' #定义全局变量 def name(): pass name() 2.调用全局变量name = '全局变量' #定义全局变量 def name(): print('name()'...

2018-05-30 15:13:38

阅读数 102

评论数 0

python 函数

函数函数就是实现了一定功能的代码块。#函数的定义 def calc(x,y): "用于说明函数" res = x * y return res #函数的调用 print(calc(1,2))def 定义函数,calc函数名,x,y参数,没有...

2018-05-29 20:48:11

阅读数 60

评论数 0

python 格式化输出

转载自:【Python笔记】1、格式化输出(%用法和format用法)  【Python笔记】2、格式化输出,再写format用法一、格式化输出1、整数14 #八进制 %o >>> print('%o',20) 24 #十进制 %d...

2018-05-28 14:40:06

阅读数 185

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭