多媒体编程

##多媒体编程##

• 多媒体编程主要包括：文本、图片、音频、视频等

  • 图片

    图片在计算机中的大小

    图片的总大小 = 图片的总像素 * 每个像素占用的大小

  单色位图：只能表示2种颜色

  * 使用两个数字：0和1
  * 使用一个长度为1的二进制数字就可以表示了
  * 每个像素占用1/8个字节
  

  16色位图：能表示16种颜色

  * 需要16个数字：0-15，0000 - 1111
  * 使用一个长度为4的二进制数组就可以表示了
  * 每个像素占用1/2个字节
  

  256色位图：能表示256种颜色

  * 需要256个数字：0 - 255,0000 0000 - 1111 1111
  * 使用一个长度为8的二进制数字
  * 每个像素占用1个字节
  

  24位位图：

  * 每个像素占用24位，也就是3个字节，所在叫24位位图
  * R：0-255,需要一个长度为8的二进制数字，占用1个字节
  * G：0-255,需要一个长度为8的二进制数字，占用1个字节
  * B：0-255,需要一个长度为8的二进制数字，占用1个字节
  

  • 加载大图片到内存

    Android系统以ARGB表示每个像素，所以每个像素占用4个字节，很容易内存溢出

  • 对图片进行缩放

    获取屏幕宽高

    Display dp = getWindowManager().getDefaultDisplay();
    int screenWidth = dp.getWidth();
    int screenHeight = dp.getHeight();
    获取图片宽高
    
    Options opts = new Options();
    //请求图片属性但不申请内存
    opts.inJustDecodeBounds = true;
    BitmapFactory.decodeFile("sdcard/dog.jpg", opts);
    int imageWidth = opts.outWidth;
    int imageHeight = opts.outHeight;
    图片的宽高除以屏幕宽高，算出宽和高的缩放比例，取较大值作为图片的缩放比例
    
    int scale = 1;
    int scaleX = imageWidth / screenWidth;
    int scaleY = imageHeight / screenHeight;
    if(scaleX >= scaleY && scaleX > 1){
    	scale = scaleX;
    }
    else if(scaleY > scaleX && scaleY > 1){
    	scale = scaleY;
    }
    

    按缩放比例加载图片

    //设置缩放比例
    opts.inSampleSize = scale;
    //为图片申请内存
    opts.inJustDecodeBounds = false;
    Bitmap bm = BitmapFactory.decodeFile("sdcard/dog.jpg", opts);
    iv.setImageBitmap(bm);
    

  • 在内存中创建图片的副本

    直接加载的bitmap对象是只读的，无法修改，要修改图片只能在内存中创建出一个一模一样的bitmap副本，然后修改副本

    //加载原图
    Bitmap srcBm = BitmapFactory.decodeFile("sdcard/photo3.jpg");
    iv_src.setImageBitmap(srcBm);
    
    //创建与原图大小一致的空白bitmap
    Bitmap copyBm = Bitmap.createBitmap(srcBm.getWidth(), srcBm.getHeight(), srcBm.getConfig());
    //定义画笔
    Paint paint = new Paint();
    //把纸铺在画版上
    Canvas canvas = new Canvas(copyBm);
    //把srcBm的内容绘制在copyBm上
    canvas.drawBitmap(srcBm, new Matrix(), paint);
    
    iv_copy.setImageBitmap(copyBm);
    

  • 对图片进行特效处理

    首先定义一个矩阵对象

    Matrix mt = new Matrix();
    

    缩放效果

    //x轴缩放1倍，y轴缩放0.5倍
    mt.setScale(1, 0.5f);
    

    旋转效果

    //以copyBm.getWidth() / 2, copyBm.getHeight() / 2点为轴点，顺时旋转30度
    mt.setRotate(30, copyBm.getWidth() / 2, copyBm.getHeight() / 2);
    

    平移

    //x轴坐标+10，y轴坐标+20
    mt.setTranslate(10, 20);
    

    镜面

    //把X坐标都变成负数
    mt.setScale(-1, 1);
    //图片整体向右移
    mt.postTranslate(copyBm.getWidth(), 0);
    

    倒影

    //把Y坐标都变成负数
    mt.setScale(1, -1);
    //图片整体向下移
    mt.postTranslate(0, copyBm.getHeight());
    

  • 画画板

    记录用户触摸事件的XY坐标，绘制直线
    给ImageView设置触摸侦听，得到用户的触摸事件，并获知用户触摸ImageView的坐标

    iv.setOnTouchListener(new OnTouchListener() {
    
    	@Override
    	public boolean onTouch(View v, MotionEvent event) {
    		
    		switch (event.getAction()) {
    		//触摸屏幕
    		case MotionEvent.ACTION_DOWN:
    			//得到触摸屏幕时手指的坐标
    			startX = (int) event.getX();
    			startY = (int) event.getY();
    			break;
    		//在屏幕上滑动
    		case MotionEvent.ACTION_MOVE:
    			//用户滑动手指，坐标不断的改变，获取最新坐标
    			int newX = (int) event.getX();
    			int newY = (int) event.getY();
    			//用上次onTouch方法得到的坐标和本次得到的坐标绘制直线
    			canvas.drawLine(startX, startY, newX, newY, paint);
    			iv.setImageBitmap(copyBm);
    			startX = newX;
    			startY = newY;
    			break;
    
    		}
    		return true;
    	}
    });
    

    刷子效果，加粗画笔

    paint.setStrokeWidth(8);
    

    调色板，改变画笔颜色

    paint.setColor(Color.GREEN);
    

    保存图片至SD卡

    FileOutputStream fos = null;
    try {
    	fos = new FileOutputStream(new File("sdcard/dazuo.png"));
    } catch (FileNotFoundException e) {
    	// TODO Auto-generated catch block
    	e.printStackTrace();
    }
    //保存图片
    copyBm.compress(CompressFormat.PNG, 100, fos);
    

    系统每次收到SD卡就绪广播时，都会去遍历sd卡的所有文件和文件夹，把遍历到的所有多媒体文件都在MediaStore数据库保存一个索引，这个索引包含多媒体文件的文件名、路径、大小
    图库每次打开时，并不会去遍历sd卡获取图片，而是通过内容提供者从MediaStore数据库中获取图片的信息，然后读取该图片
    系统开机或者点击加载sd卡按钮时，系统会发送sd卡就绪广播，我们也可以手动发送就绪广播

    Intent intent = new Intent();
    intent.setAction(Intent.ACTION_MEDIA_MOUNTED);
    intent.setData(Uri.fromFile(Environment.getExternalStorageDirectory()));
    sendBroadcast(intent);
    

• 音乐播放器

  播放服务
  播放音频的代码应该运行在服务中，定义一个播放服务MusicService
  服务里定义play、stop、pause、continuePlay等方法

  	MediaPlayer player;
  
  	private void play() {
  		//重置
  		player.reset();
  		try {
  			//加载资源
  			player.setDataSource("sdcard/bzj.mp3");
  			player.prepare();
  		} catch (Exception e) {
  			// TODO Auto-generated catch block
  			e.printStackTrace();
  		} 
  		player.start();
  		
  	}
  	private void pause() {
  		player.pause();
  	}
  	private void stop() {
  		player.stop();
  	}
  	private void continuePlay() {
  		player.start();//注意和最开始start的区别，start()前什么也没有，表示继续播放
  	}
  
  	public void seekTo(int progress){
  		player.seekTo(progress);
  	}
  	
  	//注意当unBindService和stopService后服务虽然被销毁了，但MediaPlayer组件没有被销毁，需要在服务的onDestroy()方法中手动销毁
  	@Override
  	public void onDestroy() {
  
  		super.onDestroy();
  		//停止播放，此时如果点开始播放，会重新加载资源播放，和pause不同
  		player.stop();
  		//释放占用的资源，此时player对象已经废掉了
  		player.release();
  		player=null;//从java语法角度回收player应用
  	}
  

  把这几个方法抽取成一个接口MusicInterface
  定义一个中间人类，继承Binder，实现MusicInterface
  先start启动MusicService，再bind

  Intent intent = new Intent(this, MusicService.class);
  startService(intent);
  bindService(intent, conn, BIND_AUTO_CREATE);
  

  根据播放进度设置进度条
  获取当前的播放时间和当前音频的最长时间

  int currentPosition = player.getCurrentPosition();
  int duration = player.getDuration();
  

  播放进度需要不停的获取，不停的刷新进度条，使用计时器每500毫秒获取一次播放进度
  发消息至Handler，把播放进度放进Message对象中，在Handler中更新SeekBar的进度

  Timer timer = new Timer();
  timer.schedule(new TimerTask() {
  	
  	@Override
  	public void run() {
  		int currentPosition = player.getCurrentPosition();
  		int duration = player.getDuration();
  		Message msg = Message.obtain();
  		//把播放进度存入Message中
  		Bundle data = new Bundle();
  		data.putInt("currentPosition", currentPosition);
  		data.putInt("duration", duration);
  		msg.setData(data);
  		MainActivity.handler.sendMessage(msg);
  	}
  }, 5, 500);//5 延迟5毫秒发送消息
  			//周期为500毫秒
  

  在Activity中定义Handler

  static Handler handler = new Handler(){
  	public void handleMessage(android.os.Message msg) {
  		//取出消息携带的数据
  		Bundle data = msg.getData();
  		int currentPosition = data.getInt("currentPosition");
  		int duration = data.getInt("duration");
  	
  		//设置播放进度
  		sb.setMax(duration);
  		sb.setProgress(currentPosition);
  	};
  };
  

  拖动进度条改变播放进度

   //给sb设置一个拖动侦听
   sb.setOnSeekBarChangeListener(new OnSeekBarChangeListener() {
  	//停止拖动时调用
  	@Override
  	public void onStopTrackingTouch(SeekBar seekBar) {
  		// TODO Auto-generated method stub
  		int progress = seekBar.getProgress();
  		mi.seekTo(progress);
  	}
  	//开始拖动时调用			
  	@Override
  	public void onStartTrackingTouch(SeekBar seekBar) {
  		// TODO Auto-generated method stub
  		
  	}
  	//拖动的时候不断调用			
  	@Override
  	public void onProgressChanged(SeekBar seekBar, int progress,
  			boolean fromUser) {
  		// TODO Auto-generated method stub
  		
  	}
  });	
  

• 视频播放器

  SurfaceView
  对画面的实时更新要求较高
  双缓冲技术：内存中有两个画布，A画布显示至屏幕，B画布在内存中绘制下一帧画面，绘制完毕后B显示至屏幕，A在内存中继续绘制下一帧画面
  播放视频也是用MediaPlayer，不过跟音频不同，要设置显示在哪个SurfaceView

  SurfaceView sv = (SurfaceView) findViewById(R.id.sv);
  //拿到SurfaceView的控制器
  SurfaceHolder sh = sv.getHolder();
  
  //设置播放	        
  MediaPlayer player = new MediaPlayer();
  player.reset();
  try {
  	player.setDataSource("sdcard/2.3gp");
  	player.setDisplay(sh);
  	player.prepare();
  } catch (Exception e) {
  	e.printStackTrace();
  }
  player.start();
  

  以上从设置播放开始的代码如果放在onCreate()方法中，此时可能SurfaceView组件还不可见，也就是没有创建出来，代码是有问题的。
  （SurfaceView是重量级组件，可见时才会创建）

  给SurfaceHolder设置CallBack，类似于侦听，可以知道SurfaceView的状态

  sh.addCallback(new Callback() {
  	//SurfaceView销毁时调用,点返回键或home键，SurfaceView就不可见，销毁并调用该方法
  	@Override
  	public void surfaceDestroyed(SurfaceHolder holder) {
  		// SurfaceView虽然销毁了，但MediaPlayer仍在播放，可以听到视频音乐声音，所以也要同时销毁player。
  		if(player!=null){
  			//每次退出时记录一下播放的位置。可以定义一个全局变量记录
  			currentPosition=player.getCurrentPosition();
  			player.stop();
  			player.release();
  			player=null;
  		}
  	}
  	//SurfaceView创建时调用
  	@Override
  	public void surfaceCreated(SurfaceHolder holder) {
  		// 应当把代码放置到这里,每次SurfaceView创建时才去播放视频
  		if(player==null){
  			//设置播放	        
  			MediaPlayer player = new MediaPlayer();
  			player.reset();
  			try {
  				player.setDataSource("sdcard/2.3gp");
  				player.setDisplay(sh);
  				player.prepare();
  			} catch (Exception e) {
  				e.printStackTrace();
  			}
  			player.start();
  			player.seekTo(currentPosition);//从记录的位置开始播放
  		}
  	}
  	
  	@Override
  	public void surfaceChanged(SurfaceHolder holder, int format, int width,
  			int height) {
  		// TODO Auto-generated method stub
  		
  	}
  });
  

  SurfaceView一旦不可见，就会被销毁，一旦可见，就会被创建，销毁时停止播放，再次创建时再开始播放

• 上面SurfaceView+MediaPlayer播放视频的过程很麻烦，Android中将其封装为VideoView组件

  VideoView vv=(VideoView)findViewById(R.id.vv);
  
  vv.setVideoPath("sdcard/2.3gp");
  vv.start();//如果是网络视频，需要设置监听，在监听中start()
  

• 实际开发中原生的API几乎不用，支持的类型太少了。

  FFMPEG
  开源免费的音视频编解码器
  实际使用的话需要掌握C语言

  Vitamio
  封装了FFMPEG的视频播放框架
  对外提供的api全部都是javaApi

  Vitamio使用方法

  1.将vitamio_lib导入到项目中，如果导入后console中显示红色的报错信息，可以点击vitamio_lib项目Android Tools>Fix Project properties
  
  2.将vitamio_lib设置成关联类库（勾选Is Library）,给我们要使用的项目添加该类库
  
  3.将布局文件中的VideoView换成vitamio_lib中的VideoView（记得全路径名），同时设置代码，如下
  
  	//VideoView导包的时候要导入vitamio_lib的包
  	VideoView vv=(VideoView)findViewById(R.id.vv);
  
  	vv.setVideoPath("sdcard/2.3gp");
  	vv.start();
  
  4.因为Vitamio封装的FFMPEG是需要硬件编解码的，所以使用前应当检测手机硬件是否支持
  	
  	//检查Vitamio引擎的安装，如果没安装，它会帮我安装，如果安装不了就会return
  	if(!LibsChecker.checkVitamioLibs(this)){
  		return;
  	}
  	
  	VideoView vv=(VideoView)findViewById(R.id.vv);
  
  	vv.setVideoPath("sdcard/4.rmvb");
  	vv.start();
  
  	vv.setMediaController(new MediaController(this));//可以在屏幕上显示一个默认的视频播放控制器
  
  	//同时需要在清单文件中配置,检查Vitamio引擎的安装实际上是在InitActivity中完成的
  	<activity android:name="io.vov.vitamio.activity.InitActivity"></activity>
  
  5.Vitamio不仅支持http协议，还支持很多其他的协议。
  	
  	收音机
  	播放协议：MMS
  	MMS(Microsoft Media Server protocol)是一种串流媒体传输协议，Android并不支持这种流媒体协议
  

• 其他的视频播放框架

  • 百度媒体云，导入它的jar包使用

    百度媒体云服务（简称“媒体云”）基于百度在视频处理上的长期技术积累，为广大开发者提供的媒体相关的整体解决方案。

• 欢迎扫码按关注更多信息