Android-多媒体编程
多媒体编程是指对文字、图片、音频、视频的程序设计编程。
这里做简单了解。
图片
-> 图片的一些基础知识
1)计算机中图片大小的计算
图片大小 = 图片的总像素 * 每个像素占用的大小
依据每个像素可表示的颜色种类,分为:
* 单色位图:只能表示2种颜色
* 使用两个数字:0和1
* 使用一个长度为1的二进制数字就可以表示了
* 每个像素占用1/8个字节
* 16色位图:能表示16种颜色
* 需要16个数字:0-15,0000 - 1111
* 使用一个长度为4的二进制数组就可以表示了
* 每个像素占用1/2个字节
* 256色位图:能表示256种颜色
* 需要256个数字:0 - 255,0000 0000 - 1111 1111
* 使用一个长度为8的二进制数字
* 每个像素占用1个字节
* 24位位图:
* 每个像素占用24位,也就是3个字节,所在叫24位位图
* R:0-255,需要一个长度为8的二进制数字,占用1个字节
* G:0-255,需要一个长度为8的二进制数字,占用1个字节
* B:0-255,需要一个长度为8的二进制数字,占用1个字节
加载(大)图片
平常我们在android应用中显示图片时,可能直接将图片资源设置进ImageView或在xml文件中配置就行了。
但是这样是有问题的, 对于小图片的加载时可以的,不过对于大图片的加载,手机可能会受不了,(当然,现在的手机肯定是OK的)
特别是在模拟器中,如果模拟器的内存小的话,会直接崩掉。
综上所述,对于大图片的加载,若果直接加载而不作处理的话,可能会非常耗费内存。
为什么会如此耗费内存呢?一般一个图片最大也就MB级别吧?这里以加载24位位图图片为例
这是因为在android中是以ARGB表示每个像素,每个像素占用4个字节,所以占用内存资源挺大的。(A表示透明度)
对于大图片的加载,我们一般会先进行缩放,这里我们以屏幕的尺寸为标尺来进行图片的缩放。
下面是一段简单的图片加载代码:
Options opt = new Options(); //Options对象主要用来封装解析图片时图片的参数,
opt.inJustDecodeBounds = true; //由于先进行图片的缩放, 所以先不为像素申请内存,只为获取图片宽高
BitmapFactory.decodeFile("sdcard/dog.jpg", opt); //解析图片
//拿到图片宽高
int imageWidth = opt.outWidth;
int imageHeight = opt.outHeight;
Display dp = getWindowManager().getDefaultDisplay(); //Display代表手机屏幕对象
//拿到屏幕宽高
int screenWidth = dp.getWidth();
int screenHeight = dp.getHeight();
//计算缩放比例
int scale = 1;
int scaleWidth = imageWidth / screenWidth;
int scaleHeight = imageHeight / screenHeight;
if(scaleWidth >= scaleHeight && scaleWidth >= 1){ //,为了适应屏幕显示, 取较大值作为图片的缩放比例
scale = scaleWidth;
}
else if(scaleWidth < scaleHeight && scaleHeight >= 1){
scale = scaleHeight;
}
//设置缩放比例
opt.inSampleSize = scale; //设置解析参数:缩放比例
opt.inJustDecodeBounds = false;
Bitmap bm = BitmapFactory.decodeFile("sdcard/dog.jpg", opt); //按缩放比例解析图片
ImageView iv = (ImageView) findViewById(R.id.iv);
iv.setImageBitmap(bm);
对图片内容做修改
这里的内容修改指的是对图片的简单处理,比如旋转、平移、镜面等。
既然是对图片的绘制, 这里要用到对象有Paint、Canvas(画板)
在内存中创建图片的副本
直接加载的Bitmap对象是只读的,无法修改,要修改图片只能在内存中创建出一个一模一样的bitmap副本,然后修改副本。
//加载原图
Bitmap srcBm = BitmapFactory.decodeFile("sdcard/photo3.jpg");
//创建与原图大小一致的空白bitmap
Bitmap copyBm = Bitmap.createBitmap(srcBm.getWidth(), srcBm.getHeight(), srcBm.getConfig());
//定义画笔
Paint paint = new Paint();
//把纸铺在画版上
Canvas canvas = new Canvas(copyBm);
//把srcBm的内容绘制在copyBm上
canvas.drawBitmap(srcBm, new Matrix(), paint); //矩阵对象俺的传入
iv_copy.setImageBitmap(copyBm);
简单的图片特效处理
对图片进行特效处理,依赖的是Matrix(还记不记得大学中学过的线性代数, 恶魔)。
哎,不过,对矩阵不熟悉也没关系,google已经考虑到了这一点,已经将一些简单图片矩阵处理的方法封装在了Matrix中。
所以,对图片简单特效的处理,只需调用这些已经封装好的方法就可以了。
首先定义一个矩阵对象
Matrix mt = new Matrix();
缩放效果
//x轴缩放1倍,y轴缩放0.5倍 mt.setScale(1, 0.5f);
旋转效果
//以copyBm.getWidth() / 2, copyBm.getHeight() / 2点为轴点,顺时旋转30度 mt.setRotate(30, copyBm.getWidth() / 2, copyBm.getHeight() / 2);
平移
//x轴坐标+10,y轴坐标+20 mt.setTranslate(10, 20);
镜面
//把X坐标都变成负数 mt.setScale(-1, 1); //图片整体向右移 mt.postTranslate(copyBm.getWidth(), 0);
倒影
//把Y坐标都变成负数 mt.setScale(1, -1); //图片整体向下移 mt.postTranslate(0, copyBm.getHeight());
简单的图片应用
1)画画板
画画板的的实现,其实就是在一张空白的图片上,按照用户的指示进行简单的绘制。
核心思想:
* 给ImageView设置触摸侦听,得到用户的触摸事件,并获知用户触摸ImageView的坐标
记录用户触摸事件的XY坐标,绘制直线
iv.setOnTouchListener(new OnTouchListener() {
@Override
public boolean onTouch(View v, MotionEvent event) {
// TODO Auto-generated method stub
switch (event.getAction()) {
//触摸屏幕
case MotionEvent.ACTION_DOWN:
//得到触摸屏幕时手指的坐标
startX = (int) event.getX();
startY = (int) event.getY();
break;
//在屏幕上滑动
case MotionEvent.ACTION_MOVE:
//用户滑动手指,坐标不断的改变,获取最新坐标
int newX = (int) event.getX();
int newY = (int) event.getY();
//用上次onTouch方法得到的坐标和本次得到的坐标绘制直线
canvas.drawLine(startX, startY, newX, newY, paint);
iv.setImageBitmap(copyBm);
startX = newX;
startY = newY;
break;
}
return true;
}
});
- 刷子效果,加粗画笔
paint.setStrokeWidth(8); - 调色板,改变画笔颜色
paint.setColor(Color.GREEN); - 保存图片至SD卡
FileOutputStream fos = null;
try {
fos = new FileOutputStream(new File("sdcard/simple.png"));
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
//保存图片
copyBm.compress(CompressFormat.PNG, 100, fos);
在这里我们将图片保存后,并不能在图库中直接看到我们的图片, 这是因为:
系统每次收到SD卡就绪广播时,都会去遍历sd卡的所有文件和文件夹,把遍历到的所有多媒体文件都在MediaStore数据库保存一个索引,这个索引包含多媒体文件的文件名、路径、大小
图库每次打开时,并不会去遍历sd卡获取图片,而是通过内容提供者从MediaStore数据库中获取图片的信息,然后读取该图片。
为了让我们的图片在保存之后,能够直接在图库中看到。我们可以手动发送sd卡就绪广播, 从而让系统去遍历sd卡,从而把我们新绘制的图片索引保存到MediaStore数据库中。
Intent intent = new Intent();
intent.setAction(Intent.ACTION_MEDIA_MOUNTED);
intent.setData(Uri.fromFile(Environment.getExternalStorageDirectory()));
sendBroadcast(intent);
2)撕衣服
曾经有个很火的撕衣服应用,你懂得。那么它的原理是什么呢?
其实就是准备两张图片,一张是穿衣服的,一张是没穿的。两张图片重叠显示。
用户滑动屏幕时,触摸的是外衣照,把手指经过的像素都置为透明,内衣照就显示出来了。
核心代码:
iv.setOnTouchListener(new OnTouchListener() {
@Override
public boolean onTouch(View v, MotionEvent event) {
switch (event.getAction()) {
case MotionEvent.ACTION_MOVE:
int newX = (int) event.getX();
int newY = (int) event.getY();
//把指定的像素变成透明
copyBm.setPixel(newX, newY, Color.TRANSPARENT);
iv.setImageBitmap(copyBm);
break;
}
return true;
}
});
当然,每次设置一个像素点为透明色,似乎不够刺激。
* 以触摸的像素为圆心,半径为5画圆,圆内的像素全部置为透明
for (int i = -5; i < 6; i++) {
for (int j = -5; j < 6; j++) {
if(Math.sqrt(i * i + j * j) <= 5)
copyBm.setPixel(newX + i, newY + j, Color.TRANSPARENT);
}
}
NT: 注意像素点的设置不要超出图片范围,不然程序会崩掉的。
音频播放
Android中对于音乐、视频的处理相关的对象是MediaPlayer。
MediaPlayer的简单使用:
MediaPlayer mp = new MediaPlayer();
mp.reset();
mp.setDataSource(PATH_TO_FILE);
mp.prepare();
mp.start();
Android文档中指出, 我们new出来的这个MediaPlayer可能为空,所以我们应该在使用前检查一下是否为空。
音乐播放的几个点:
1)文件路径不仅可以设置为本地文件, 还可以是网络文件
2)mp.prepare()这个方法,一般是不调用的,因为同步准备就意味着,可能要让应用没反应,用户体验不好,
一般应使用异步准备,并设置准备监听:
player.prepareAsync();
player.setOnPreparedListener(new OnPreparedListener() {
//准备完毕时,此方法调用
@Override
public void onPrepared(MediaPlayer mp) {
player.start();
//addTimer();
}
});
3)当MediaPlayer不使用时,我们应该释放其占用的资源(Java不会释放,因为这是个对象是底层调用C来操作硬件的, 而c语言的资源是需手动释放的)。
mp.release();
mp = null;
4)MediaPlayer一般在使用前都要先reset一下。
简单音乐播放器的实现
参考市面上的一些音乐播放器。 音乐播放的代码应该写在服务中,这样才能保证当应用切换到后台后仍然能够继续播放。
基本步骤:
1)写一个音乐播放服务,里面含有音乐播放的基本方法
2)将供外部调用播放方法暴露成接口,并提供中间人对象(访问服务方法的对象)。
public IBinder onBind(Intent intent) {
// TODO Auto-generated method stub
return new MusicController(); //MusicController调用了音乐服务的音乐相关方法
}
3)在主activity中,启动服务,拿到中间人对象,并根据用户需求调用播放音乐的方法。
intent = new Intent(this, MusicService.class);
startService(intent); //不与activity共生死,即保证后台调用
conn = new MyserviceConn();
bindService(intent, conn, BIND_AUTO_CREATE); //为了访问服务的方法
给音乐播放器添加进度条
进度条采用SeekBar, 至于进度的改变我们采用定时器来实现
查看上面的 player.setOnPreparedListener()方法, 我们在音乐开始播放时,启动了定时器。
下面是定时器的具体代码。
public void addTimer(){
if(timer == null){
timer = new Timer();
timer.schedule(new TimerTask() {
@Override
public void run() {
//获取歌曲总时长
int duration = player.getDuration();
//获取歌曲当前播放进度
int currentPosition= player.getCurrentPosition();
//去主线程中刷新UI
Message msg = MainActivity.handler.obtainMessage();
//把进度封装至消息对象中
Bundle bundle = new Bundle();
bundle.putInt("duration", duration);
bundle.putInt("currentPosition", currentPosition);
msg.setData(bundle);
MainActivity.handler.sendMessage(msg);
}
//开始计时任务后的5毫秒,第一次执行run方法,以后每500毫秒执行一次
}, 5, 500);
}
定时器实际是开辟子线程来运行的,因此在run方法中我们是不可以刷新UI, 必须在主线程中刷新UI。
static Handler handler = new Handler(){
public void handleMessage(android.os.Message msg) {
Bundle bundle = msg.getData();
int duration = bundle.getInt("duration");
int currentPostition = bundle.getInt("currentPosition");
//刷新进度条的进度
sb.setMax(duration);
sb.setProgress(currentPostition);
}
};
拖动进度条,改变音乐播放进度
很简单,其实,就是设置一个进度条的监听,并调用MediaPlayer.seekTo()方法就OK了。
sb.setOnSeekBarChangeListener(new OnSeekBarChangeListener() {
@Override
public void onStopTrackingTouch(SeekBar seekBar) {
//根据拖动的进度改变音乐播放进度
int progress = seekBar.getProgress();
//改变播放进度
mi.seekTo(progress);
}
}
然后在服务中MediaPlayer.seekTo(progress);
视频播放
SurfaceView
就像使用ImageView显示图片一样,播放视频也得有个容器吧, 这个容器就是SurfaceView。
SurfaceView的特点:
1)它采用双缓冲技术,可以满足那些,对视频流畅、实时更新要求较高的场合。
2)SurfaceView是重量级组件,因此Android是不会轻易去创建它的,只有在可见是才会去创建它。
3)SurfaceView一旦不可见,就会被销毁,一旦可见,就会被创建
简单的讲,双缓冲技术,就是在播放视频时,内存中有两个画布,A画布显示至屏幕,B画布在内存中绘制下一帧画面,
绘制完毕后B显示至屏幕,A在内存中继续绘制下一帧画面
简单视频播放器
当然, 播放视频也是使用的MedaiPlayer(看名字,就知道)。
与音乐的播放相比,特别之处就在于,要设置视频显示的地方(当然是SurfaceView啦)
player = new MediaPlayer();
player.reset();
player.setDataSource("sdcard/2.3gp");
player.setDisplay(sh);
player.prepare();
player.start();
结合SurfaceView特点,我们这款简单音乐播放器应该
1)每次SurfaceView创建时才去播放视频,销毁时,暂停播放视频。
2)依据1, 所以我们要监听SurfaceView的状态。
final SurfaceHolder sh = sv.getHolder();
sh.addCallback(new Callback() {
//surfaceView销毁时调用
@Override
public void surfaceDestroyed(SurfaceHolder holder) {
//每次surfaceview销毁时,同时停止播放视频
if(player != null){
currentPosition = player.getCurrentPosition();
player.stop();
player.release();
player = null;
}
}
//surfaceView创建时调用
@Override
public void surfaceCreated(SurfaceHolder holder) {
//每次surfaceView创建时才去播放视频
if(player == null){
player = new MediaPlayer();
player.reset();
try {
player.setDataSource("sdcard/2.3gp");
player.setDisplay(sh);
player.prepare();
player.start();
player.seekTo(currentPosition);
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
//surfaceView结构改变时调用
@Override
public void surfaceChanged(SurfaceHolder holder, int format, int width,
int height) {
// TODO Auto-generated method stub
}
});
}
VideoView
VodeoView是Android封装好的视频框架,使用它开发者可以不用自己控制播放与暂停。
即把视频丢给他其他一切,他自己搞定。
VideoView = MediaPlayer + SurfaceView
使用步骤:
1)在界面布局文件中定义VideoView组件,或在程序中创建VideoView组件
2)调用VideoView的如下两个方法来加载指定的视频
setVidePath(String path):加载path文件代表的视频
setVideoURI(Uri uri):加载uri所对应的视频
3)将视频控制交给MediaController
代码范例:
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
video1=(VideoView)findViewById(R.id.video1);
mediaco=new MediaController(this);
File file=new File("/mnt/sdcard/通话录音/1.mp4");
if(file.exists()){
//VideoView与MediaController进行关联
video1.setVideoPath(file.getAbsolutePath());
video1.setMediaController(mediaco);
mediaco.setMediaPlayer(video1);
//让VideiView获取焦点
video1.requestFocus();
}
}
Vitamio
MediaPlayer在播放视频方面是十分差劲的,支持的视频格式非常少(3gp、Base64编码的mp4)。
我们在播放视频时,可以使用Vitamio来代替MediaPlayer.它是封装了FFMPEG的视频播放框架,
并且他提供的API全部是javaAPI,且类似于VideoView的API.
Vitamio使用很方便, 并且支持的格式很多。
关于Vitamio使用的几点注意:
1)Vitamio的源码是以eclipse的项目方式提供的,因此,我们使用的话,要关联这个项目
2)在使用之前,应先检测硬件是否支持
3)其他类似的框架,还有百度媒体云等
4)应使用Vitamio提供的控件
使用Vitamio提供的控件
<io.vov.vitamio.widget.VideoView
android:id="@+id/vv"
android:layout_width="match_parent"
android:layout_height="match_parent"
/>
简单使用:
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
//检测是否支持vitamio
if (!LibsChecker.checkVitamioLibs(this)) {return;}
VideoView vv = (VideoView) findViewById(R.id.vv);
vv.setVideoPath("sdcard/4.rmvb");
vv.start();
vv.setMediaController(new MediaController(this));
}
摄像头
- 启动系统提供的拍照程序
//隐式启动系统提供的拍照Activity
Intent intent = new Intent(MediaStore.ACTION_IMAGE_CAPTURE);
//设置照片的保存路径
File file = new File(Environment.getExternalStorageDirectory(), "haha.jpg");
intent.putExtra(MediaStore.EXTRA_OUTPUT, Uri.fromFile(file));
startActivityForResult(intent, 0);
- 启动系统提供的摄像程序
Intent intent = new Intent(MediaStore.ACTION_VIDEO_CAPTURE);
File file = new File(Environment.getExternalStorageDirectory(), "haha.3gp");
intent.putExtra(MediaStore.EXTRA_OUTPUT, Uri.fromFile(file));
//设置保存视频文件的质量
intent.putExtra(MediaStore.EXTRA_VIDEO_QUALITY, 1);
startActivityForResult(intent, 0);